Zadanie 5: Weryfikacja pomocy LLM

Terminowość dostaw sklepu internetowego

Zadanie nieobowiązkowe i bez oceny. Pracuj we własnym tempie. Orientacyjny czas: 60–90 min. Dane v1.0 • Karta v1.0

Płynna odpowiedź asystenta nie potwierdza poprawności analizy. Sprawdź dwie propozycje: sposób liczenia odsetka oraz interpretację porównania przewoźników. Możesz pracować z modelem albo wykonać równoważny wariant offline.

Cel i rezultat

Przygotujesz dwa udokumentowane werdykty poparte testami i danymi oraz uzupełnisz rejestr użycia LLM.

Zanim zaczniesz

Projekt po C4, przygotowany CSV i tabela C3_przewoznicy_tryby.csv. Utwórz notebooks/C5_weryfikacja_LLM.ipynb z własnym odczytem plików.

Wykorzystaj docs/rejestr_uzycia_LLM.csv o istniejących siedmiu kolumnach. Nie usuwaj wcześniejszych wpisów.

Ścieżki w karcie są względne wobec folderu terminowosc_dostaw. Plików w data/raw nie zmieniaj.

1 Zapisz kontrakt i dwa prompty

Najpierw własnymi słowami zdefiniuj odsetek, obsługę braków i pustej próby. Przygotuj dwa prompty: o funkcję obliczającą odsetek z serii statusów oraz o ostrożne porównanie przewoźników łącznie i w trybach. Każdy ma zawierać cel, minimalny kontekst, ograniczenia i oczekiwany format odpowiedzi.

2 Wybierz sposób uzyskania propozycji

Z modelem: przekaż same potrzebne pola, mały przykład albo zweryfikowaną tabelę. Zachowaj rzeczywiste prompty i odpowiedzi. Nie przesyłaj całego projektu, danych osobowych, haseł ani kluczy. Najpierw przeczytaj proponowany kod; nie uruchamiaj operacji na plikach lub sieci bez zrozumienia.

Offline: nie potrzebujesz konta ani połączenia z usługą. Sprawdź poniższe dwie propozycje napisane na potrzeby ćwiczenia. Nie są zapisem rozmowy z modelem. Nadal przygotuj własne prompty z kroku 1, ale oznacz je jako niewysłane.

Propozycja A dotyczy funkcji dla serii statusów:

def odsetek_opoznien(status):
    return status.fillna(False).mean()

Propozycja B: „B ma najniższy odsetek opóźnień łącznie, więc jest najlepszy w każdym trybie. Przekazanie mu wszystkich dostaw zmniejszy opóźnienia”.

Każdą część odpowiedzi traktuj jako twierdzenie do sprawdzenia, także gdy brzmi wiarygodnie.

Testy i decyzja o przyjęciu propozycji

3 Sprawdź kod na małych próbach

Użyj serii typu boolean dopuszczającego pd.NA. Przed wykonaniem kodu określ oczekiwany wynik dla pięciu prób: [False, False], [True, True], [True, False, pd.NA], [pd.NA, pd.NA] oraz serii pustej. Porównaj oczekiwanie z wynikiem propozycji; nie zakładaj, że wszystkie testy mają wykryć błąd.

Jeśli potrzebna jest poprawka, napisz ją i ponów wszystkie testy. Dla brakującego wyniku sprawdzaj brak, a nie równość z NaN. Następnie porównaj wynik na danych projektu z niezależnie policzonym licznikiem i mianownikiem.

4 Sprawdź interpretację

Rozdziel twierdzenia o wyniku łącznym, każdym trybie i skutku zmiany przewoźnika. Sprawdź każde w tabelach. Uwzględnij n, udział trybów i odległości. Dla twierdzeń przyczynowych wskaż, czy masz odpowiednie dane. Zapisz własny, ostrożny opis w 2–3 zdaniach.

5 Zapisz dowody i werdykty

W outputs/tables/C5_testy_weryfikacji.csv zapisz test lub twierdzenie, oczekiwanie, wynik, werdykt i dowód. Dla obu propozycji wybierz: przyjmuję, modyfikuję lub odrzucam; uzasadnij decyzję. Dopisz dwa wpisy z modul=C5 do rejestru. Offline: oznacz cel jako „wariant offline”, prompt jako niewysłany, a odpowiedź jako propozycję dydaktyczną.

Zapisz notebook, uruchom ponownie kernel i wszystkie komórki od początku. Usuń przyczynę pierwszego błędu i powtórz pełny przebieg. Zapisz notebook z aktualnymi wynikami. Ewentualną poprawkę analizy przenieś do właściwego C2, C3 lub C4 i odtwórz zależne wyniki.

Co otrzymujesz

Spakuj poniższe pliki jako C5_rozwiazanie.zip, zachowując ścieżki wewnątrz archiwum. ZIP zapisz poza projektem i dołącz do tego zadania w Moodle.

notebooks/C5_weryfikacja_LLM.ipynb

outputs/tables/C5_testy_weryfikacji.csv

docs/rejestr_uzycia_LLM.csv

Samokontrola

  • Wykonane są wszystkie próby brzegowe i kontrola na danych projektu.
  • Każdy werdykt ma dowód, a twierdzenia sprawdzono osobno.
  • Rejestr uczciwie rozróżnia rozmowę z modelem od wariantu offline.

Krótka refleksja w notebooku: Którą propozycję można było łatwo przyjąć bez kontroli i co pozwoliło ją ocenić?

W C6 korzystaj wyłącznie z wyników i opisów, które przeszły Twoją weryfikację.

Dla chętnych: porównaj dwie odpowiedzi modelu, używając dokładnie tych samych testów.

Last modified: Friday, 2 October 2026, 4:05 PM