Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 4
8. Podsumowanie Modułu 4
W Module 4 połączyłeś wyszukiwanie i generowanie, zachowując możliwość sprawdzenia każdego etapu. Najważniejsza praktyka to zestawienie trzech rzeczy: materiału dostępnego w bazie, kontekstu faktycznie przekazanego modelowi oraz twierdzeń zapisanych w odpowiedzi.
Mapa procesu
indeks z M3 + pytanie → embedding pytania i retrieval → filtr oraz poprawna lista context_results → tekst kontekstu i prompt → odpowiedź albo jawne zakończenie bez generacji → źródła, diagnostyka i własna ocena
Program może sprawdzić integralność indeksu, parametry, puste rekordy i istnienie etykiet. Trzeba jeszcze ocenić, czy odpowiedź wynika ze źródła, zachowuje warunki, jest kompletna w dostępnym zakresie i odnosi się do aktualnej dokumentacji.
Nazwy, które łączą moduły
| Obszar | Nazwy przyjęte w materiałach |
|---|---|
| Indeks M3 | semantic_index/, embeddings.npy, chunks.jsonl, index_metadata.json. |
| Rekord fragmentu | chunk_id, text, metadata; document_id w metadata. |
| Wynik M4 | question, status, reason, answer, sources, diagnostics. |
| Ślad próby | result_id, case_id, index_id, prompt, parametry i kontekst. |
| Zapis R6 | rag_experiments.jsonl, raport_z_eksperymentu.md oraz osobna ocena. |
Co zachować po lekturze
- Rozwiązania sześciu ćwiczeń i uzasadnienia wskazujące konkretne dane.
- Listę źródeł F1–F4 oraz rozróżnienie ich identyfikatorów od lokalnych etykiet S1 i S2.
- Porównanie A–D i plan eksperymentu, w którym określono stałe oraz zmieniane warunki.
Co zachować po pracy z notebookami
Zapisz sześć notebooków, wybrane katalogi wyniki/R1/ do wyniki/R6/, oryginalne logi, własne oceny i raport R6. Nazwę próby nadaje program. Przy zmianie samego komentarza nie generuj ponownie odpowiedzi: zapisz kolejną wersję oceny odnoszącą się do tego samego result_id. Zasady odbioru określa prowadzący.
W trybie checkpoint porównujesz zapisane obserwacje. Identyczne żądanie odtwarza ostatnią zachowaną odpowiedź dla tego żądania; nie jest to nowa losowa próba. Parametry i ograniczenia dostarczonego pilota opisano w materiałach ćwiczeniowych. Inne pytania lub ustawienia wymagają własnych wywołań.
Lista kontrolna
- Potrafię ustalić, co model faktycznie otrzymał.
- Rozróżniam answered, insufficient_context i błędy wykonania.
- Nie odczytuję score jako prawdopodobieństwa prawdy.
- Sprawdzam znaczenie cytowanego fragmentu i jego wersję.
- Zachowuję błędne odpowiedzi jako wyniki do analizy.
- Wniosek o jakości ograniczam do rzeczywiście zbadanych przypadków.
Podstawa treści
Podręcznik opracowano na podstawie M12-M4-v4.pptx, gotowego pakietu Student M4 oraz indeksu z M3. Układ odpowiada książce M1 i jej wydrukowi PDF. Nazwy funkcji i plików odnoszą się do działającego pakietu. Skrócone sygnatury i przykłady w książce objaśniają przepływ; kompletny kod znajduje się w notebookach i plikach pomocniczych.