Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki
6. Ograniczenia, LLM i wiarygodność
Ograniczenia powinny wynikać z rzeczywistego zakresu projektu. Zdanie „dane mogą być niedokładne” jest mało użyteczne, jeśli nie wyjaśnia, jak niedokładność mogłaby wpłynąć na wynik. Dobra sekcja nazywa problem, określa jego konsekwencję i wskazuje, co można zrobić dalej.
Zakres i struktura próby
Zbiór kursowy jest syntetyczny i służy nauce. Przedstawia powtarzane pomiary ośmiu urządzeń w krótkim okresie, a nie losową próbę wszystkich instalacji. Hale A i B dostarczają po 270 rekordów, czyli po 37,5% zbioru; Hala C 180 rekordów, czyli 25%. Równoliczność pomiarów urządzeń nie oznacza równej liczby urządzeń w halach.
Ponieważ wielokrotnie mierzono te same urządzenia, nie wolno automatycznie traktować 720 wierszy jako niezależnych obserwacji przy wnioskowaniu statystycznym. Projekt nie przedstawia testu autokorelacji, więc nie stwierdzamy, że ją wykazano. Wskazujemy strukturę danych, którą należałoby uwzględnić w bardziej zaawansowanej analizie.
Braki i nietypowe wartości
Braki są zależne od zmiennej: energia ma 718 wartości, produkcja 719, temperatura i drgania po 720. Usunięcie wszystkich wierszy zawierających jakikolwiek brak zmniejszyłoby cały zbiór do 717 rekordów, mimo że część analiz nie korzysta z brakujących pól. Dlatego liczebność powinna wynikać z danych użytych do konkretnego obliczenia.
Nietypowy pomiar drgań 4,850 mm/s pozostaje w analizie podstawowej. Wcześniejsze przygotowanie danych nie dostarczyło dowodu, że jest błędem. Metoda IQR wskazuje wartości warte uwagi, ale nie stanowi automatycznej reguły kasowania ani diagnostyki urządzenia. Kontekst grupy i reguły dziedzinowe mają znaczenie.
Ograniczenie czy błąd do naprawy?
Niepełna historia serwisowa jest ograniczeniem dostępnych danych. Zły filtr, zdublowane rekordy po połączeniu albo wykres z nieaktualnej ramki są błędami, które należy poprawić i przeliczyć. Nie przenoś ich do sekcji ograniczeń po to, aby pozostawić nieprawidłowy wynik.
Rozróżnienie jest praktyczne: ograniczenie wyznacza granicę uczciwego wniosku, a błąd podważa poprawność wykonania. Jeśli wykryjesz błąd, najpierw napraw łańcuch obliczeń, a dopiero potem redaguj streszczenie i zakończenie.
Analiza wrażliwości korelacji
Analiza wrażliwości sprawdza, jak wynik zmienia się przy jawnie opisanym wariancie obliczenia. Nie służy wybieraniu najładniejszej liczby. W naszym przykładzie porównujemy pełny zbiór z wariantem diagnostycznym bez konkretnego pomiaru U-05 z 8 lutego o 20:00. Usuwamy go tylko z kopii użytej w tym porównaniu, nie z pliku źródłowego.
nietypowy = (
pomiary_clean["urzadzenie"].eq("U-05")
& pomiary_clean["czas"].eq(pd.Timestamp("2026-02-08 20:00"))
)
assert nietypowy.sum() == 1
assert pomiary_clean.loc[nietypowy, "drgania"].iloc[0] == 4.85
wariant = pomiary_clean.loc[~nietypowy, ["temperatura", "drgania"]]
r_wariant = wariant["temperatura"].corr(wariant["drgania"])
korelacje_grup = pd.DataFrame([
{"urzadzenie": nazwa, "n": len(g),
"r": g["temperatura"].corr(g["drgania"])}
for nazwa, g in pomiary_clean.groupby("urzadzenie")
])
print("Wariant:", len(wariant), zapis3(r_wariant))
display(korelacje_grup)
|
Wariant |
Liczebność |
Korelacja r |
|---|---|---|
|
Wszystkie pary |
720 |
0,644 |
|
Bez wskazanego punktu, diagnostycznie |
719 |
0,817 |
|
Osobno w ośmiu urządzeniach |
Po 90 |
Od 0,102 do 0,778 |
Zmiana z 0,644 na 0,817 pokazuje wrażliwość wyniku globalnego na jeden punkt. Nie dowodzi, że 0,817 jest „prawdziwą” korelacją ani że pomiar należy usunąć. Przyczyna jego nietypowości wymaga osobnej weryfikacji. Wniosek powinien ujawniać oba warianty i zasadę wyboru analizy podstawowej.
Z kolei korelacje w urządzeniach odpowiadają na inne pytanie niż korelacja w połączonych danych. Najniższa występuje dla U-05, najwyższa dla U-07. Wynik globalny miesza zmienność wewnątrz urządzeń z różnicami między nimi; nie jest średnią ośmiu korelacji. Bez dodatkowej analizy nie orzekamy również, że różnice między współczynnikami są statystycznie istotne.
Jak napisać ograniczenia i ujawnić pomoc LLM
Sekcję ograniczeń możesz zbudować z czterech krótkich akapitów. Pierwszy opisuje zakres: osiem urządzeń, 45 dni i syntetyczny charakter danych. Drugi wskazuje jakość: braki zależne od zmiennej i zachowany nietypowy pomiar. Trzeci wyjaśnia metodę: opisowe porównania i korelacje nie oddzielają przyczyn, a pomiary są powtarzane. Czwarty proponuje dalsze sprawdzenia, np. weryfikację nietypowego odczytu oraz porównanie urządzeń w podobnych warunkach pracy.
Umieść ograniczenia obok wniosków i przed opcjonalnymi rekomendacjami. Czytelnik nie powinien poznać zastrzeżeń dopiero po przeczytaniu stanowczego zalecenia. Skróconą informację zachowaj także w streszczeniu i prezentacji.
Ślad pracy z modelem
LLM może pomagać redagować tekst, proponować kod lub wychwytywać niejasności. Autor odpowiada jednak za sprawdzenie obliczeń i twierdzeń. Sama informacja „korzystano z AI” nie pokazuje zakresu pomocy ani sposobu kontroli.
|
Składnik wpisu |
Co udokumentować |
|---|---|
|
Zadanie i cel |
Identyfikator, np. M6-L01, oraz konkretny problem do rozwiązania. |
|
Narzędzie i czas |
Faktycznie użyte narzędzie, model lub dostępne oznaczenie, interfejs i data. |
|
Kontekst |
Jakie dane, wyniki i ograniczenia udostępniono modelowi. |
|
Prompt |
Rzeczywista treść polecenia, nie opis rozmowy z pamięci. |
|
Sugestia modelu |
Kod lub fragment tekstu podlegający ocenie. |
|
Weryfikacja |
Test, porównanie ze źródłem i jego wynik; lokalizacja dowodu. |
|
Werdykt |
Przyjęto, poprawiono lub odrzucono, wraz z uzasadnieniem. |
|
Wpływ na raport |
Co ostatecznie zmieniono i gdzie znajduje się zatwierdzona wersja. |
Pełny wpis może pozostać w sekcji „Udokumentowane wykorzystanie LLM” notebooka M5 lub w aneksie M6. Jeśli odsyłasz do M5, dołącz go do pakietu. Wspólny docs/rejestr_uzycia_LLM.csv zachowuje siedem pól: modul, cel, prompt, odpowiedz_modelu, test_weryfikacyjny, werdykt, uzasadnienie. W uzasadnieniu można wskazać pełny wpis. Nie trzeba tworzyć drugiego równoległego rejestru.
Od sugestii LLM do zatwierdzonego tekstu
Poniższy przypadek jest przykładem dydaktycznym, a nie zapisem rzeczywistej rozmowy. Model otrzymuje tabelę median i proponuje zdanie: „U-05 ma najgorszy stan techniczny i wymaga pilnego serwisu”. Autor porównuje je z zakresem analizy i stwierdza, że tabela opisuje wyłącznie poziom drgań. Odrzuca diagnozę oraz zalecenie, zachowuje informację o najwyższej medianie i dodaje ograniczenie interpretacji.
Dowodem weryfikacji nie jest tu samo „sprawdzono”. Należy wskazać tabelę rankingu, liczbę obserwacji i brak zastosowanego kryterium diagnostycznego. Werdykt brzmi: poprawiono opis, odrzucono nieuzasadniony wniosek i rekomendację. Wpływ na raport jest widoczny w zatwierdzonym akapicie wyników.
Krótka informacja w raporcie
Jeżeli rzeczywiście korzystano z takiej pomocy, skrócona informacja może opisywać trzy kwestie: do czego użyto modelu, jak sprawdzono jego propozycje i kto zatwierdził tekst. Na przykład: „LLM wspierał redakcję opisu wyników. Propozycje porównano z tabelami i zakresem zastosowanych metod; usunięto twierdzenia diagnostyczne bez pokrycia w analizie. Za końcowe obliczenia i interpretację odpowiada autor; szczegóły kontroli zawiera wpis M6-L01 w aneksie”.
Nie wklejaj tego przykładu jako deklaracji wykonanej pracy, jeśli nie odpowiada faktom. Nie dopisuj zmyślonego modelu, daty ani testu. Jeśli identyfikator modelu nie był widoczny, uczciwie odnotuj tę okoliczność. Wpis powinien dokumentować rzeczywistą pomoc, także wtedy, gdy sugestia została całkowicie odrzucona.
Do rejestru nie dopisuj nowego wiersza automatycznie przy każdym wykonaniu Run All. Powtórne obliczenie raportu nie oznacza nowej rozmowy z modelem. Zadbaj o identyfikatory wpisów i świadomie aktualizuj dokumentację. Nowy przypadek z modułu 6 oznacz w kolumnie modul wartością M6.
Modelowi przekazuj tylko potrzebny, dozwolony kontekst. Dane syntetyczne w ćwiczeniu nie zwalniają z zasad obowiązujących przy późniejszej pracy zawodowej. Hasła, tokeny, dane osobowe i informacje poufne nie powinny trafić ani do promptu, ani do pakietu kursowego.
Sprawdź rozumienie 5
Po usunięciu jednego punktu korelacja rośnie z 0,644 do 0,817. Czy należy zastąpić wynik podstawowy większą liczbą? Jak udokumentujesz propozycję LLM, która trafnie opisuje ranking, ale bezpodstawnie zaleca serwis urządzenia?