Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki

8. Rejestr użycia LLM i ocena wartości

Rejestr jest częścią uzasadnienia wyniku. Powinien pozwalać odtworzyć, czego dotyczyła pomoc modelu, jakie informacje otrzymał, co zaproponował, co sprawdzono i jaki wpływ miała odpowiedź. Sam zapis „korzystano z AI” jest zbyt ogólny. Z kolei bezładny eksport całej rozmowy może ukrywać decyzje w nadmiarze tekstu i niepotrzebnie przechowywać dane.

Osiem części wpisu szczegółowego

W notebooku utwórz sekcję „Udokumentowane wykorzystanie LLM”. Wpisy oznaczaj stałymi identyfikatorami, na przykład M5-L01. Odwołanie do takiego nagłówka jest stabilniejsze niż numer wykonania komórki, który zmienia się po ponownym uruchomieniu.

Część wpisu

Co zapisać

1 Identyfikator i cel

ID wpisu, ID przypadku z mapy i konkretne zadanie

2 Środowisko

Rzeczywisty model, wersja lub tag, interfejs, dostępne ustawienia i data; przy offline jawny brak wywołania

3 Kontekst

Dokładnie to, co przekazano modelowi; osobno dane użyte tylko lokalnie do testów

4 Prompt

Pełne polecenie z wersją lub stabilne odwołanie do zachowanej treści

5 Odpowiedź

Istotny fragment bez zmiany sensu; jeśli to streszczenie, oznacz je i zachowaj oryginał

6 Weryfikacja

Metoda testu, rzeczywisty wynik i miejsce dowodu w notebooku lub tabeli

7 Werdykt

Przyjęto, przyjęto po korekcie albo odrzucono, wraz z uzasadnieniem

8 Wpływ i wartość

Co wykorzystano w analizie, koszt kontroli, korzyść, ryzyko i pozostałe ograniczenia

Oddziel kontekst przekazany od kontekstu testowego. Jeżeli model dostał tylko schemat i kod, nie wpisuj, że analizował cały plik 720 × 14. Nazwę i SHA-256 lokalnego pliku możesz zapisać w części o dowodzie, wyraźnie wskazując, że obliczenia wykonał uczestnik, a nie model.

Nie poprawiaj po cichu cytowanej odpowiedzi, aby pasowała do ostatecznej decyzji. Zachowaj oryginalny fragment, a własną korektę opisz obok. Usuń z dokumentacji sekrety i niedozwolone dane; najlepiej w ogóle nie przekazywać ich do rozmowy. Zakres utrwalanych materiałów także powinien odpowiadać potrzebom i zasadom projektu.

Trzy przykłady decyzji w rejestrze

Poniższe wpisy są skróconymi wzorami dydaktycznymi opartymi na przykładach z tej książki. Nie opisują rzeczywistych wywołań modelu. W swoim notebooku uzupełnij je o wykonane przez siebie testy i ich lokalizację. Jeśli ćwiczysz z modelem, zamiast tych odpowiedzi użyj faktycznej treści uzyskanej w rozmowie.

M5 L01 Poprawka rankingu

Cel i kontekst: M5-U01, prompt M5-P01 v1, schemat urzadzenie i drgania, kod z nieistniejącą nazwą drgania_mm_s. Źródło propozycji: odpowiedź dydaktyczna B, wariant offline, bez wywołania modelu. Propozycja: użyć istniejącej kolumny i zachować medianę. Liczby z danych nie były częścią przekazanego wyniku modelu.

Dowód: ranking z rozdziału 3 ma osiem unikalnych urządzeń, n = 90 w każdej grupie i malejącą medianę; alternatywna agregacja potwierdza wartości, a pełne porównanie df potwierdza brak zmian. Werdykt: przyjęto poprawkę nazwy po teście. Wpływ: kod działa zgodnie z pytaniem. Dodatkowe opakowanie w funkcję i walidacja są osobno opisanym rozszerzeniem. Nie deklarowano pomiaru oszczędności czasu.

M5 L02 Korelacje w urządzeniach

Cel i kontekst: M5-U02, prompt M5-P02, schemat i zweryfikowana globalna korelacja. Źródło: pierwsza odpowiedź dydaktyczna z rozdziału 4. Propozycja: rozdzielić urządzenia i ocenić, gdzie temperatura „wpływa” na drgania.

Dowód: 720 kompletnych par, osiem grup po 90, korelacje od około 0,102 do 0,778 i pełne wykresy rozrzutu. Werdykt: przyjęto po korekcie — wykorzystano podział na grupy, odrzucono interpretację przyczynową. Wpływ: opis ograniczono do związku statystycznego; odnotowano punkt U-05 i powtarzalność pomiarów w czasie. Koszt obejmuje dodatkowe obliczenia, wykres i kontrolę narracji.

M5 L03 Teza o trybie pracy

Cel i kontekst: M5-U03, ten sam M5-P02 i dostępne kategorie trybu. Źródło: druga odpowiedź dydaktyczna. Propozycja: pokazać rzekomą redukcję drgań w trybie oszczedny.

Dowód: 360 rekordów każdego trybu, różne kierunki różnic median w urządzeniach oraz wrażliwość średniej na jeden zachowany punkt. Werdykt: odrzucono tezę o wykazanej redukcji. Wpływ: do raportu trafia neutralne porównanie i ograniczenie, bez deklaracji poprawy stanu urządzeń. Korzyść z uniknięcia błędnego wniosku wynika z weryfikacji, a nie z poprawności pierwotnej sugestii.

Siedem kolumn wspólnego pliku CSV

Projekt korzysta z docs/rejestr_uzycia_LLM.csv. Zachowaj istniejący schemat: modul, cel, prompt, odpowiedz_modelu, test_weryfikacyjny, werdykt, uzasadnienie. Osiem części wpisu szczegółowego nie oznacza konieczności dodania ośmiu kolumn. CSV może być krótkim indeksem prowadzącym do pełnej dokumentacji w notebooku.

Kolumna CSV

Zawartość dla M5

modul

M5

cel

ID wpisu i zadania, np. M5-L01 / M5-U01, oraz krótki cel

prompt

Wersja promptu i odwołanie do pełnej treści w notebooku

odpowiedz_modelu

Fragment lub oznaczone streszczenie; przy offline wskazanie przykładu dydaktycznego

test_weryfikacyjny

Wykonany test, rzeczywisty wynik i miejsce dowodu

werdykt

Jednoznaczna decyzja dotycząca konkretnej propozycji

uzasadnienie

Powód, wpływ na analizę, koszt i ograniczenie; odwołanie do wpisu szczegółowego

Metadane środowiska i dokładny kontekst pozostają w szczegółowym wpisie. Nie zastępuj ich ogólnikiem „model lokalny”, jeżeli znasz nazwę i tag. Jeśli nie znasz ustawienia albo wersji, napisz „nieodnotowano” zamiast zgadywać. Przy wariancie offline pole odpowiedz_modelu nadal istnieje ze względu na wspólny schemat, lecz treść wyraźnie zaznacza brak rzeczywistego wywołania.

Przy uzupełnianiu CSV zachowuj wpisy wcześniejszych modułów. Nie umieszczaj bezwarunkowego dopisywania rekordów w każdorazowo wykonywanej komórce, bo ponowne uruchomienie notebooka powieli historię. Przed zapisem sprawdź istniejący ID i zdecyduj, czy aktualizujesz wpis, czy dodajesz nowy. Treści promptów zawierające przecinki i nowe linie zapisuj poprawnym narzędziem CSV, nie przez ręczne łączenie pól przecinkami.

Wartość po uwzględnieniu kontroli

Korzyść z szybkiego napisania kodu może zniwelować koszt korekt i testów. Przy prostym KeyError samodzielne rozwiązanie bywa szybsze. Przy nowym porównaniu wartością może być poszerzenie analizy, nie skrócenie pracy. Oceniaj konkretny przypadek.

Bez pomiaru czasu podaj ocenę jakościową i poniesiony koszt, nie procent oszczędności. Rejestruj także odrzucone odpowiedzi: uzasadnienie chroni przed późniejszym bezkrytycznym przywróceniem błędnej tezy do raportu.