7. Protokół weryfikacji odpowiedzi LLM

Odpowiedź modelu bywa mieszaniną poprawnego pomysłu, błędu w kodzie i zbyt mocnego wniosku. Ocena całego akapitu jednym słowem zaciera te różnice. Stosuj protokół: wyodrębnij twierdzenie, dobierz dowód, wykonaj sprawdzenie, wydaj werdykt i zapisz ograniczenie. Każdy werdykt powinien wskazywać konkretną część odpowiedzi.

Twierdzenie dowód werdykt

Rozważ odpowiedź dydaktyczną: „Pogrupuj po linia, usuń wszystkie wiersze z brakami przez dropna(), policz korelację temperatury i drgań. Wynik około 0,64 potwierdza, że temperatura powoduje wzrost drgań”. To nie jedno twierdzenie, lecz co najmniej cztery niezależne kwestie.

Twierdzenie

Właściwy dowód

Decyzja

T1 Istnieje pole linia

Lista kolumn i słownik

Odrzucić: takiej kolumny nie ma

T2 Globalne dropna jest właściwe dla tej korelacji

Liczba kompletnych par przed i po operacji

Odrzucić procedurę; kontrolować tylko potrzebne pola

T3 Korelacja wynosi około 0,64

Własne obliczenie na 720 określonych parach

Przyjąć liczbę po weryfikacji i podaniu zakresu

T4 Temperatura powoduje wzrost drgań

Projekt badania i dowody przyczynowe

Odrzucić jako nieuzasadnione tą analizą

Nie zastępuj linia przez lokalizacja tylko dlatego, że nazwa wydaje się podobna. Oznaczałoby to samodzielną zmianę grupowania. Najpierw wróć do pytania: w przykładzie M5-U02 właściwe grupy to urządzenia. Słownik wyjaśnia znaczenie istniejących pól, ale nie wybiera celu analizy za Ciebie.

Jak nazwać częściowe wykorzystanie

Jeżeli odrzucasz twierdzenie „globalne usuwanie braków jest właściwe”, nie zapisuj, że to twierdzenie przyjęto. Możesz przyjąć po korekcie użyteczny zamiar sprawdzenia kompletności par. Wpis powinien zawierać zarówno odrzuconą procedurę, jak i nową regułę: wybór pól wymaganych przez konkretną analizę. Dzięki temu nie nadajesz błędnej odpowiedzi pozoru poprawności.

Dlaczego globalne usuwanie braków zmienia próbę

Brak energii nie przeszkadza w analizie pary temperatura–drgania, jeżeli oba te pomiary istnieją. Podobnie brak produkcji nie uzasadnia usunięcia dostępnej energii przy liczeniu jej średniej. Zakres operacji dropna musi wynikać z konkretnego pytania.

liczby = {
    "wszystkie_rekordy": len(df),
    "po_globalnym_dropna": len(df.dropna()),
    "pary_temperatura_drgania": len(
        df.dropna(subset=["temperatura", "drgania"])
    ),
    "dostepna_energia": int(df["energia"].count()),
    "dostepna_produkcja": int(df["produkcja"].count())
}
assert list(liczby.values()) == [720, 717, 720, 718, 719]
display(pd.Series(liczby))
pd.testing.assert_frame_equal(df_baza, df)

Globalne dropna pozostawia 717 rekordów. Dla korelacji temperatury i drgań dostępnych jest 720 kompletnych par; dla energii 718 wartości. Gdybyś globalnie usunął braki przed obliczeniem energii, straciłbyś dodatkowo poprawny pomiar z rekordu z brakującą produkcją. Ta różnica nie jest kosmetyczna: zmienia zestaw obserwacji, na którym opiera się wynik.

Mały kontrprzykład lepszy niż zapewnienie modelu

Poniższe trzy wiersze są syntetycznym testem, nie dodatkiem do danych kursowych. Pozwalają odróżnić size, count i mean na przykładzie, który policzysz także ręcznie.

mini = pd.DataFrame({
    "urzadzenie": ["T", "T", "T"], "energia": [10.0, np.nan, 14.0]
})
kontrola_mini = mini.groupby("urzadzenie")["energia"].agg(
    ["size", "count", "mean"]
)
assert kontrola_mini.loc["T"].tolist() == [3, 2, 12]
display(kontrola_mini)

Size liczy trzy rekordy, count dwie dostępne wartości, a mean daje 12 z dwóch pomiarów. Wpisanie zera dałoby średnią 8 i oznaczałoby udawanie, że brakujący odczyt był równy zero. Test ujawnia zmianę znaczenia operacji, nawet gdy kod nie zgłasza żadnego błędu.

Sprawdzenie korelacji drugim sposobem

Wartość r możesz zweryfikować przez definicję: odejmij od każdej zmiennej jej średnią, policz sumę iloczynów odchyleń i podziel przez iloczyn długości wektorów odchyleń. Poniższy blok używa tych samych kompletnych par co poprzednia analiza, lecz nie wywołuje metody corr do wyznaczenia wyniku kontrolnego.

xy = df[["temperatura", "drgania"]].dropna()
assert len(xy) >= 2
x = xy["temperatura"].to_numpy(dtype=float)
y = xy["drgania"].to_numpy(dtype=float)
xc, yc = x - x.mean(), y - y.mean()
mianownik = np.sqrt((xc @ xc) * (yc @ yc))
assert mianownik > 0, "Korelacja nieokreślona dla stałej zmiennej"
r_kontrolne = float((xc @ yc) / mianownik)
assert np.isclose(r_kontrolne, r_global, rtol=1e-12, atol=1e-12)
print("Wynik według definicji:", r_kontrolne)

Otrzymasz około 0,644407. Zgodność wzmacnia zaufanie do obliczenia współczynnika. Nie sprawdza jednak poprawności czujnika, reprezentatywności okresu ani przyczynowości. Niezależność sposobu obliczeń nie oznacza niezależności danych: oba wyniki pochodzą z tych samych obserwacji.

Dobór źródła do pytania

Dokumentacja biblioteki jest właściwa do sprawdzania parametrów funkcji, domyślnego traktowania braków czy typu wyniku. W lokalnym środowisku możesz skorzystać także z help() i małego przykładu. Zapis wersji Pandas pomaga odtworzyć zachowanie. Sama dokumentacja nie potwierdzi jednak, że Twoja kolumna oznacza energię w kWh ani że wzrost temperatury spowodował zmianę drgań.

Weryfikacja powinna być proporcjonalna do ryzyka. Literówkę sprawdzisz schematem i testem. Zmianę czyszczenia — porównaniem danych i liczebności. Wniosek analityczny — obliczeniem, wykresem, kontekstem i oceną ograniczeń. Decyzja operacyjna o urządzeniu wymaga dodatkowych dowodów i uprawnionego procesu, których ten notebook nie zastępuje.

Nowy przypadek energii i nieuzasadniona rekomendacja

Odpowiedź dydaktyczna brzmi: „U-05 ma najwyższą średnią energię, około 15,411 kWh, więc jest najmniej efektywne. Uzupełnij brakującą energię zerami i wyłącz urządzenie”. Oddziel cztery kwestie: wartość średniej, interpretację efektywności, imputację i działanie operacyjne. Każda wymaga innego rodzaju dowodu.

energia_urz = (
    df.groupby("urzadzenie")["energia"]
    .agg(n="count", srednia="mean")
    .sort_values("srednia", ascending=False)
)
assert energia_urz["n"].sum() == 718
assert energia_urz["srednia"].idxmax() == "U-05"
display(energia_urz.round(3))

Obliczenie potwierdza pierwszą liczbę w granicach zaokrąglenia. U-03 i U-04 mają po 89 dostępnych wartości energii, pozostałe urządzenia po 90. Raportowanie count przy średniej zapobiega udawaniu, że wszystkie grupy opierają się na pełnych danych.

Część odpowiedzi

Werdykt

Dlaczego

Najwyższa średnia energii U-05

Przyjęto po sprawdzeniu

Wynika z agregacji istniejących wartości; podano n

Najmniejsza efektywność

Odrzucono jako nieudowodnione

Sama energia nie uwzględnia produkcji, obciążenia ani funkcji urządzenia

Uzupełnienie energii zerami

Odrzucono

Brak odczytu nie oznacza pomiaru zerowego

Wyłączenie urządzenia

Odrzucono w tym zadaniu

Brak diagnozy i podstaw do decyzji operacyjnej

Do oceny efektywności potrzebowałbyś uzasadnionej miary odnoszącej energię do efektu pracy i porównywalnych warunków. Sam iloraz też wymaga ustalenia zgodności okresów, jednostek oraz obsługi braków i zer w mianowniku. Nie dopisuj go odruchowo jako „dowodu”, zanim zdefiniujesz pytanie.

Sprawdź rozumienie 5

Model podał poprawną liczbę i dołączył do niej nieuzasadnioną rekomendację. Czy poprawność liczby przenosi się na rekomendację? Jakie osobne werdykty zapiszesz dla średniej energii, efektywności, wstawiania zer i wyłączenia urządzenia?