Zadanie 5 - Weryfikacja pomocy LLM
Zadanie 5: Weryfikacja pomocy LLM
Terminowość dostaw sklepu internetowego
Zadanie nieobowiązkowe i bez oceny. Pracuj we własnym tempie. Orientacyjny czas: 60–90 min. Dane v1.0 • Karta v1.0
Płynna odpowiedź asystenta nie potwierdza poprawności analizy. Sprawdź dwie propozycje: sposób liczenia odsetka oraz interpretację porównania przewoźników. Możesz pracować z modelem albo wykonać równoważny wariant offline.
Cel i rezultat
Przygotujesz dwa udokumentowane werdykty poparte testami i danymi oraz uzupełnisz rejestr użycia LLM.
Zanim zaczniesz
Projekt po C4, przygotowany CSV i tabela C3_przewoznicy_tryby.csv. Utwórz notebooks/C5_weryfikacja_LLM.ipynb z własnym odczytem plików.
Wykorzystaj docs/rejestr_uzycia_LLM.csv o istniejących siedmiu kolumnach. Nie usuwaj wcześniejszych wpisów.
Ścieżki w karcie są względne wobec folderu terminowosc_dostaw. Plików w data/raw nie zmieniaj.
1 Zapisz kontrakt i dwa prompty
Najpierw własnymi słowami zdefiniuj odsetek, obsługę braków i pustej próby. Przygotuj dwa prompty: o funkcję obliczającą odsetek z serii statusów oraz o ostrożne porównanie przewoźników łącznie i w trybach. Każdy ma zawierać cel, minimalny kontekst, ograniczenia i oczekiwany format odpowiedzi.
2 Wybierz sposób uzyskania propozycji
Z modelem: przekaż same potrzebne pola, mały przykład albo zweryfikowaną tabelę. Zachowaj rzeczywiste prompty i odpowiedzi. Nie przesyłaj całego projektu, danych osobowych, haseł ani kluczy. Najpierw przeczytaj proponowany kod; nie uruchamiaj operacji na plikach lub sieci bez zrozumienia.
Offline: nie potrzebujesz konta ani połączenia z usługą. Sprawdź poniższe dwie propozycje napisane na potrzeby ćwiczenia. Nie są zapisem rozmowy z modelem. Nadal przygotuj własne prompty z kroku 1, ale oznacz je jako niewysłane.
Propozycja A dotyczy funkcji dla serii statusów:
def odsetek_opoznien(status):
return status.fillna(False).mean()
Propozycja B: „B ma najniższy odsetek opóźnień łącznie, więc jest najlepszy w każdym trybie. Przekazanie mu wszystkich dostaw zmniejszy opóźnienia”.
Każdą część odpowiedzi traktuj jako twierdzenie do sprawdzenia, także gdy brzmi wiarygodnie.
Testy i decyzja o przyjęciu propozycji
3 Sprawdź kod na małych próbach
Użyj serii typu boolean dopuszczającego pd.NA. Przed wykonaniem kodu określ oczekiwany wynik dla pięciu prób: [False, False], [True, True], [True, False, pd.NA], [pd.NA, pd.NA] oraz serii pustej. Porównaj oczekiwanie z wynikiem propozycji; nie zakładaj, że wszystkie testy mają wykryć błąd.
Jeśli potrzebna jest poprawka, napisz ją i ponów wszystkie testy. Dla brakującego wyniku sprawdzaj brak, a nie równość z NaN. Następnie porównaj wynik na danych projektu z niezależnie policzonym licznikiem i mianownikiem.
4 Sprawdź interpretację
Rozdziel twierdzenia o wyniku łącznym, każdym trybie i skutku zmiany przewoźnika. Sprawdź każde w tabelach. Uwzględnij n, udział trybów i odległości. Dla twierdzeń przyczynowych wskaż, czy masz odpowiednie dane. Zapisz własny, ostrożny opis w 2–3 zdaniach.
5 Zapisz dowody i werdykty
W outputs/tables/C5_testy_weryfikacji.csv zapisz test lub twierdzenie, oczekiwanie, wynik, werdykt i dowód. Dla obu propozycji wybierz: przyjmuję, modyfikuję lub odrzucam; uzasadnij decyzję. Dopisz dwa wpisy z modul=C5 do rejestru. Offline: oznacz cel jako „wariant offline”, prompt jako niewysłany, a odpowiedź jako propozycję dydaktyczną.
Zapisz notebook, uruchom ponownie kernel i wszystkie komórki od początku. Usuń przyczynę pierwszego błędu i powtórz pełny przebieg. Zapisz notebook z aktualnymi wynikami. Ewentualną poprawkę analizy przenieś do właściwego C2, C3 lub C4 i odtwórz zależne wyniki.
Co otrzymujesz
Spakuj poniższe pliki jako C5_rozwiazanie.zip, zachowując ścieżki wewnątrz archiwum. ZIP zapisz poza projektem i dołącz do tego zadania w Moodle.
notebooks/C5_weryfikacja_LLM.ipynb
outputs/tables/C5_testy_weryfikacji.csv
docs/rejestr_uzycia_LLM.csv
Samokontrola
- Wykonane są wszystkie próby brzegowe i kontrola na danych projektu.
- Każdy werdykt ma dowód, a twierdzenia sprawdzono osobno.
- Rejestr uczciwie rozróżnia rozmowę z modelem od wariantu offline.
Krótka refleksja w notebooku: Którą propozycję można było łatwo przyjąć bez kontroli i co pozwoliło ją ocenić?
W C6 korzystaj wyłącznie z wyników i opisów, które przeszły Twoją weryfikację.
Dla chętnych: porównaj dwie odpowiedzi modelu, używając dokładnie tych samych testów.