Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki
8. Rejestr użycia LLM i ocena wartości
Rejestr jest częścią uzasadnienia wyniku. Powinien pozwalać odtworzyć, czego dotyczyła pomoc modelu, jakie informacje otrzymał, co zaproponował, co sprawdzono i jaki wpływ miała odpowiedź. Sam zapis „korzystano z AI” jest zbyt ogólny. Z kolei bezładny eksport całej rozmowy może ukrywać decyzje w nadmiarze tekstu i niepotrzebnie przechowywać dane.
Osiem części wpisu szczegółowego
W notebooku utwórz sekcję „Udokumentowane wykorzystanie LLM”. Wpisy oznaczaj stałymi identyfikatorami, na przykład M5-L01. Odwołanie do takiego nagłówka jest stabilniejsze niż numer wykonania komórki, który zmienia się po ponownym uruchomieniu.
|
Część wpisu |
Co zapisać |
|---|---|
|
1 Identyfikator i cel |
ID wpisu, ID przypadku z mapy i konkretne zadanie |
|
2 Środowisko |
Rzeczywisty model, wersja lub tag, interfejs, dostępne ustawienia i data; przy offline jawny brak wywołania |
|
3 Kontekst |
Dokładnie to, co przekazano modelowi; osobno dane użyte tylko lokalnie do testów |
|
4 Prompt |
Pełne polecenie z wersją lub stabilne odwołanie do zachowanej treści |
|
5 Odpowiedź |
Istotny fragment bez zmiany sensu; jeśli to streszczenie, oznacz je i zachowaj oryginał |
|
6 Weryfikacja |
Metoda testu, rzeczywisty wynik i miejsce dowodu w notebooku lub tabeli |
|
7 Werdykt |
Przyjęto, przyjęto po korekcie albo odrzucono, wraz z uzasadnieniem |
|
8 Wpływ i wartość |
Co wykorzystano w analizie, koszt kontroli, korzyść, ryzyko i pozostałe ograniczenia |
Oddziel kontekst przekazany od kontekstu testowego. Jeżeli model dostał tylko schemat i kod, nie wpisuj, że analizował cały plik 720 × 14. Nazwę i SHA-256 lokalnego pliku możesz zapisać w części o dowodzie, wyraźnie wskazując, że obliczenia wykonał uczestnik, a nie model.
Nie poprawiaj po cichu cytowanej odpowiedzi, aby pasowała do ostatecznej decyzji. Zachowaj oryginalny fragment, a własną korektę opisz obok. Usuń z dokumentacji sekrety i niedozwolone dane; najlepiej w ogóle nie przekazywać ich do rozmowy. Zakres utrwalanych materiałów także powinien odpowiadać potrzebom i zasadom projektu.
Trzy przykłady decyzji w rejestrze
Poniższe wpisy są skróconymi wzorami dydaktycznymi opartymi na przykładach z tej książki. Nie opisują rzeczywistych wywołań modelu. W swoim notebooku uzupełnij je o wykonane przez siebie testy i ich lokalizację. Jeśli ćwiczysz z modelem, zamiast tych odpowiedzi użyj faktycznej treści uzyskanej w rozmowie.
M5 L01 Poprawka rankingu
Cel i kontekst: M5-U01, prompt M5-P01 v1, schemat urzadzenie i drgania, kod z nieistniejącą nazwą drgania_mm_s. Źródło propozycji: odpowiedź dydaktyczna B, wariant offline, bez wywołania modelu. Propozycja: użyć istniejącej kolumny i zachować medianę. Liczby z danych nie były częścią przekazanego wyniku modelu.
Dowód: ranking z rozdziału 3 ma osiem unikalnych urządzeń, n = 90 w każdej grupie i malejącą medianę; alternatywna agregacja potwierdza wartości, a pełne porównanie df potwierdza brak zmian. Werdykt: przyjęto poprawkę nazwy po teście. Wpływ: kod działa zgodnie z pytaniem. Dodatkowe opakowanie w funkcję i walidacja są osobno opisanym rozszerzeniem. Nie deklarowano pomiaru oszczędności czasu.
M5 L02 Korelacje w urządzeniach
Cel i kontekst: M5-U02, prompt M5-P02, schemat i zweryfikowana globalna korelacja. Źródło: pierwsza odpowiedź dydaktyczna z rozdziału 4. Propozycja: rozdzielić urządzenia i ocenić, gdzie temperatura „wpływa” na drgania.
Dowód: 720 kompletnych par, osiem grup po 90, korelacje od około 0,102 do 0,778 i pełne wykresy rozrzutu. Werdykt: przyjęto po korekcie — wykorzystano podział na grupy, odrzucono interpretację przyczynową. Wpływ: opis ograniczono do związku statystycznego; odnotowano punkt U-05 i powtarzalność pomiarów w czasie. Koszt obejmuje dodatkowe obliczenia, wykres i kontrolę narracji.
M5 L03 Teza o trybie pracy
Cel i kontekst: M5-U03, ten sam M5-P02 i dostępne kategorie trybu. Źródło: druga odpowiedź dydaktyczna. Propozycja: pokazać rzekomą redukcję drgań w trybie oszczedny.
Dowód: 360 rekordów każdego trybu, różne kierunki różnic median w urządzeniach oraz wrażliwość średniej na jeden zachowany punkt. Werdykt: odrzucono tezę o wykazanej redukcji. Wpływ: do raportu trafia neutralne porównanie i ograniczenie, bez deklaracji poprawy stanu urządzeń. Korzyść z uniknięcia błędnego wniosku wynika z weryfikacji, a nie z poprawności pierwotnej sugestii.
Siedem kolumn wspólnego pliku CSV
Projekt korzysta z docs/rejestr_uzycia_LLM.csv. Zachowaj istniejący schemat: modul, cel, prompt, odpowiedz_modelu, test_weryfikacyjny, werdykt, uzasadnienie. Osiem części wpisu szczegółowego nie oznacza konieczności dodania ośmiu kolumn. CSV może być krótkim indeksem prowadzącym do pełnej dokumentacji w notebooku.
|
Kolumna CSV |
Zawartość dla M5 |
|---|---|
|
modul |
M5 |
|
cel |
ID wpisu i zadania, np. M5-L01 / M5-U01, oraz krótki cel |
|
prompt |
Wersja promptu i odwołanie do pełnej treści w notebooku |
|
odpowiedz_modelu |
Fragment lub oznaczone streszczenie; przy offline wskazanie przykładu dydaktycznego |
|
test_weryfikacyjny |
Wykonany test, rzeczywisty wynik i miejsce dowodu |
|
werdykt |
Jednoznaczna decyzja dotycząca konkretnej propozycji |
|
uzasadnienie |
Powód, wpływ na analizę, koszt i ograniczenie; odwołanie do wpisu szczegółowego |
Metadane środowiska i dokładny kontekst pozostają w szczegółowym wpisie. Nie zastępuj ich ogólnikiem „model lokalny”, jeżeli znasz nazwę i tag. Jeśli nie znasz ustawienia albo wersji, napisz „nieodnotowano” zamiast zgadywać. Przy wariancie offline pole odpowiedz_modelu nadal istnieje ze względu na wspólny schemat, lecz treść wyraźnie zaznacza brak rzeczywistego wywołania.
Przy uzupełnianiu CSV zachowuj wpisy wcześniejszych modułów. Nie umieszczaj bezwarunkowego dopisywania rekordów w każdorazowo wykonywanej komórce, bo ponowne uruchomienie notebooka powieli historię. Przed zapisem sprawdź istniejący ID i zdecyduj, czy aktualizujesz wpis, czy dodajesz nowy. Treści promptów zawierające przecinki i nowe linie zapisuj poprawnym narzędziem CSV, nie przez ręczne łączenie pól przecinkami.
Wartość po uwzględnieniu kontroli
Korzyść z szybkiego napisania kodu może zniwelować koszt korekt i testów. Przy prostym KeyError samodzielne rozwiązanie bywa szybsze. Przy nowym porównaniu wartością może być poszerzenie analizy, nie skrócenie pracy. Oceniaj konkretny przypadek.
Bez pomiaru czasu podaj ocenę jakościową i poniesiony koszt, nie procent oszczędności. Rejestruj także odrzucone odpowiedzi: uzasadnienie chroni przed późniejszym bezkrytycznym przywróceniem błędnej tezy do raportu.