8. Podsumowanie Modułu 4

W Module 4 połączyłeś wyszukiwanie i generowanie, zachowując możliwość sprawdzenia każdego etapu. Najważniejsza praktyka to zestawienie trzech rzeczy: materiału dostępnego w bazie, kontekstu faktycznie przekazanego modelowi oraz twierdzeń zapisanych w odpowiedzi.

Mapa procesu

indeks z M3 + pytanie
→ embedding pytania i retrieval
→ filtr oraz poprawna lista context_results
→ tekst kontekstu i prompt
→ odpowiedź albo jawne zakończenie bez generacji
→ źródła, diagnostyka i własna ocena
Co pozostaje odpowiedzialnością człowieka

Program może sprawdzić integralność indeksu, parametry, puste rekordy i istnienie etykiet. Trzeba jeszcze ocenić, czy odpowiedź wynika ze źródła, zachowuje warunki, jest kompletna w dostępnym zakresie i odnosi się do aktualnej dokumentacji.

Nazwy, które łączą moduły

Obszar Nazwy przyjęte w materiałach
Indeks M3 semantic_index/, embeddings.npy, chunks.jsonl, index_metadata.json.
Rekord fragmentu chunk_id, text, metadata; document_id w metadata.
Wynik M4 question, status, reason, answer, sources, diagnostics.
Ślad próby result_id, case_id, index_id, prompt, parametry i kontekst.
Zapis R6 rag_experiments.jsonl, raport_z_eksperymentu.md oraz osobna ocena.

Co zachować po lekturze

  • Rozwiązania sześciu ćwiczeń i uzasadnienia wskazujące konkretne dane.
  • Listę źródeł F1–F4 oraz rozróżnienie ich identyfikatorów od lokalnych etykiet S1 i S2.
  • Porównanie A–D i plan eksperymentu, w którym określono stałe oraz zmieniane warunki.

Co zachować po pracy z notebookami

Zapisz sześć notebooków, wybrane katalogi wyniki/R1/ do wyniki/R6/, oryginalne logi, własne oceny i raport R6. Nazwę próby nadaje program. Przy zmianie samego komentarza nie generuj ponownie odpowiedzi: zapisz kolejną wersję oceny odnoszącą się do tego samego result_id. Zasady odbioru określa prowadzący.

W trybie checkpoint porównujesz zapisane obserwacje. Identyczne żądanie odtwarza ostatnią zachowaną odpowiedź dla tego żądania; nie jest to nowa losowa próba. Parametry i ograniczenia dostarczonego pilota opisano w materiałach ćwiczeniowych. Inne pytania lub ustawienia wymagają własnych wywołań.

Lista kontrolna

  • Potrafię ustalić, co model faktycznie otrzymał.
  • Rozróżniam answered, insufficient_context i błędy wykonania.
  • Nie odczytuję score jako prawdopodobieństwa prawdy.
  • Sprawdzam znaczenie cytowanego fragmentu i jego wersję.
  • Zachowuję błędne odpowiedzi jako wyniki do analizy.
  • Wniosek o jakości ograniczam do rzeczywiście zbadanych przypadków.

Podstawa treści

Podręcznik opracowano na podstawie M12-M4-v4.pptx, gotowego pakietu Student M4 oraz indeksu z M3. Układ odpowiada książce M1 i jej wydrukowi PDF. Nazwy funkcji i plików odnoszą się do działającego pakietu. Skrócone sygnatury i przykłady w książce objaśniają przepływ; kompletny kod znajduje się w notebookach i plikach pomocniczych.

ENHANCER+ · Politechnika Warszawska · podręcznik do samodzielnej nauki offline