Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki

6. Ograniczenia, LLM i wiarygodność

Ograniczenia powinny wynikać z rzeczywistego zakresu projektu. Zdanie „dane mogą być niedokładne” jest mało użyteczne, jeśli nie wyjaśnia, jak niedokładność mogłaby wpłynąć na wynik. Dobra sekcja nazywa problem, określa jego konsekwencję i wskazuje, co można zrobić dalej.

Zakres i struktura próby

Zbiór kursowy jest syntetyczny i służy nauce. Przedstawia powtarzane pomiary ośmiu urządzeń w krótkim okresie, a nie losową próbę wszystkich instalacji. Hale A i B dostarczają po 270 rekordów, czyli po 37,5% zbioru; Hala C 180 rekordów, czyli 25%. Równoliczność pomiarów urządzeń nie oznacza równej liczby urządzeń w halach.

Ponieważ wielokrotnie mierzono te same urządzenia, nie wolno automatycznie traktować 720 wierszy jako niezależnych obserwacji przy wnioskowaniu statystycznym. Projekt nie przedstawia testu autokorelacji, więc nie stwierdzamy, że ją wykazano. Wskazujemy strukturę danych, którą należałoby uwzględnić w bardziej zaawansowanej analizie.

Braki i nietypowe wartości

Braki są zależne od zmiennej: energia ma 718 wartości, produkcja 719, temperatura i drgania po 720. Usunięcie wszystkich wierszy zawierających jakikolwiek brak zmniejszyłoby cały zbiór do 717 rekordów, mimo że część analiz nie korzysta z brakujących pól. Dlatego liczebność powinna wynikać z danych użytych do konkretnego obliczenia.

Nietypowy pomiar drgań 4,850 mm/s pozostaje w analizie podstawowej. Wcześniejsze przygotowanie danych nie dostarczyło dowodu, że jest błędem. Metoda IQR wskazuje wartości warte uwagi, ale nie stanowi automatycznej reguły kasowania ani diagnostyki urządzenia. Kontekst grupy i reguły dziedzinowe mają znaczenie.

Ograniczenie czy błąd do naprawy?

Niepełna historia serwisowa jest ograniczeniem dostępnych danych. Zły filtr, zdublowane rekordy po połączeniu albo wykres z nieaktualnej ramki są błędami, które należy poprawić i przeliczyć. Nie przenoś ich do sekcji ograniczeń po to, aby pozostawić nieprawidłowy wynik.

Rozróżnienie jest praktyczne: ograniczenie wyznacza granicę uczciwego wniosku, a błąd podważa poprawność wykonania. Jeśli wykryjesz błąd, najpierw napraw łańcuch obliczeń, a dopiero potem redaguj streszczenie i zakończenie.

Analiza wrażliwości korelacji

Analiza wrażliwości sprawdza, jak wynik zmienia się przy jawnie opisanym wariancie obliczenia. Nie służy wybieraniu najładniejszej liczby. W naszym przykładzie porównujemy pełny zbiór z wariantem diagnostycznym bez konkretnego pomiaru U-05 z 8 lutego o 20:00. Usuwamy go tylko z kopii użytej w tym porównaniu, nie z pliku źródłowego.

nietypowy = (
    pomiary_clean["urzadzenie"].eq("U-05")
    & pomiary_clean["czas"].eq(pd.Timestamp("2026-02-08 20:00"))
)
assert nietypowy.sum() == 1
assert pomiary_clean.loc[nietypowy, "drgania"].iloc[0] == 4.85
wariant = pomiary_clean.loc[~nietypowy, ["temperatura", "drgania"]]
r_wariant = wariant["temperatura"].corr(wariant["drgania"])
korelacje_grup = pd.DataFrame([
    {"urzadzenie": nazwa, "n": len(g),
     "r": g["temperatura"].corr(g["drgania"])}
    for nazwa, g in pomiary_clean.groupby("urzadzenie")
])
print("Wariant:", len(wariant), zapis3(r_wariant))
display(korelacje_grup)

Wariant

Liczebność

Korelacja r

Wszystkie pary

720

0,644

Bez wskazanego punktu, diagnostycznie

719

0,817

Osobno w ośmiu urządzeniach

Po 90

Od 0,102 do 0,778

Zmiana z 0,644 na 0,817 pokazuje wrażliwość wyniku globalnego na jeden punkt. Nie dowodzi, że 0,817 jest „prawdziwą” korelacją ani że pomiar należy usunąć. Przyczyna jego nietypowości wymaga osobnej weryfikacji. Wniosek powinien ujawniać oba warianty i zasadę wyboru analizy podstawowej.

Z kolei korelacje w urządzeniach odpowiadają na inne pytanie niż korelacja w połączonych danych. Najniższa występuje dla U-05, najwyższa dla U-07. Wynik globalny miesza zmienność wewnątrz urządzeń z różnicami między nimi; nie jest średnią ośmiu korelacji. Bez dodatkowej analizy nie orzekamy również, że różnice między współczynnikami są statystycznie istotne.

Jak napisać ograniczenia i ujawnić pomoc LLM

Sekcję ograniczeń możesz zbudować z czterech krótkich akapitów. Pierwszy opisuje zakres: osiem urządzeń, 45 dni i syntetyczny charakter danych. Drugi wskazuje jakość: braki zależne od zmiennej i zachowany nietypowy pomiar. Trzeci wyjaśnia metodę: opisowe porównania i korelacje nie oddzielają przyczyn, a pomiary są powtarzane. Czwarty proponuje dalsze sprawdzenia, np. weryfikację nietypowego odczytu oraz porównanie urządzeń w podobnych warunkach pracy.

Umieść ograniczenia obok wniosków i przed opcjonalnymi rekomendacjami. Czytelnik nie powinien poznać zastrzeżeń dopiero po przeczytaniu stanowczego zalecenia. Skróconą informację zachowaj także w streszczeniu i prezentacji.

Ślad pracy z modelem

LLM może pomagać redagować tekst, proponować kod lub wychwytywać niejasności. Autor odpowiada jednak za sprawdzenie obliczeń i twierdzeń. Sama informacja „korzystano z AI” nie pokazuje zakresu pomocy ani sposobu kontroli.

Składnik wpisu

Co udokumentować

Zadanie i cel

Identyfikator, np. M6-L01, oraz konkretny problem do rozwiązania.

Narzędzie i czas

Faktycznie użyte narzędzie, model lub dostępne oznaczenie, interfejs i data.

Kontekst

Jakie dane, wyniki i ograniczenia udostępniono modelowi.

Prompt

Rzeczywista treść polecenia, nie opis rozmowy z pamięci.

Sugestia modelu

Kod lub fragment tekstu podlegający ocenie.

Weryfikacja

Test, porównanie ze źródłem i jego wynik; lokalizacja dowodu.

Werdykt

Przyjęto, poprawiono lub odrzucono, wraz z uzasadnieniem.

Wpływ na raport

Co ostatecznie zmieniono i gdzie znajduje się zatwierdzona wersja.

Pełny wpis może pozostać w sekcji „Udokumentowane wykorzystanie LLM” notebooka M5 lub w aneksie M6. Jeśli odsyłasz do M5, dołącz go do pakietu. Wspólny docs/rejestr_uzycia_LLM.csv zachowuje siedem pól: modul, cel, prompt, odpowiedz_modelu, test_weryfikacyjny, werdykt, uzasadnienie. W uzasadnieniu można wskazać pełny wpis. Nie trzeba tworzyć drugiego równoległego rejestru.

Od sugestii LLM do zatwierdzonego tekstu

Poniższy przypadek jest przykładem dydaktycznym, a nie zapisem rzeczywistej rozmowy. Model otrzymuje tabelę median i proponuje zdanie: „U-05 ma najgorszy stan techniczny i wymaga pilnego serwisu”. Autor porównuje je z zakresem analizy i stwierdza, że tabela opisuje wyłącznie poziom drgań. Odrzuca diagnozę oraz zalecenie, zachowuje informację o najwyższej medianie i dodaje ograniczenie interpretacji.

Dowodem weryfikacji nie jest tu samo „sprawdzono”. Należy wskazać tabelę rankingu, liczbę obserwacji i brak zastosowanego kryterium diagnostycznego. Werdykt brzmi: poprawiono opis, odrzucono nieuzasadniony wniosek i rekomendację. Wpływ na raport jest widoczny w zatwierdzonym akapicie wyników.

Krótka informacja w raporcie

Jeżeli rzeczywiście korzystano z takiej pomocy, skrócona informacja może opisywać trzy kwestie: do czego użyto modelu, jak sprawdzono jego propozycje i kto zatwierdził tekst. Na przykład: „LLM wspierał redakcję opisu wyników. Propozycje porównano z tabelami i zakresem zastosowanych metod; usunięto twierdzenia diagnostyczne bez pokrycia w analizie. Za końcowe obliczenia i interpretację odpowiada autor; szczegóły kontroli zawiera wpis M6-L01 w aneksie”.

Nie wklejaj tego przykładu jako deklaracji wykonanej pracy, jeśli nie odpowiada faktom. Nie dopisuj zmyślonego modelu, daty ani testu. Jeśli identyfikator modelu nie był widoczny, uczciwie odnotuj tę okoliczność. Wpis powinien dokumentować rzeczywistą pomoc, także wtedy, gdy sugestia została całkowicie odrzucona.

Do rejestru nie dopisuj nowego wiersza automatycznie przy każdym wykonaniu Run All. Powtórne obliczenie raportu nie oznacza nowej rozmowy z modelem. Zadbaj o identyfikatory wpisów i świadomie aktualizuj dokumentację. Nowy przypadek z modułu 6 oznacz w kolumnie modul wartością M6.

Modelowi przekazuj tylko potrzebny, dozwolony kontekst. Dane syntetyczne w ćwiczeniu nie zwalniają z zasad obowiązujących przy późniejszej pracy zawodowej. Hasła, tokeny, dane osobowe i informacje poufne nie powinny trafić ani do promptu, ani do pakietu kursowego.

Sprawdź rozumienie 5

Po usunięciu jednego punktu korelacja rośnie z 0,644 do 0,817. Czy należy zastąpić wynik podstawowy większą liczbą? Jak udokumentujesz propozycję LLM, która trafnie opisuje ranking, ale bezpodstawnie zaleca serwis urządzenia?