Kontekst
Trafność, pokrycie, wystarczalność, niski szum, spójność i identyfikowalność. Oddziel ranking top_k od kontekstu po filtrowaniu.
Instrukcja pracy z modułem 6
Wymagania zaliczenia
Moduł 6 | Lokalne chatboty i RAG
Instrukcja pracy z Modułem 6
Ewaluacja systemu RAG oraz dokumentacja projektu
W Module 6 sprawdzisz jakość systemu DocAssist zbudowanego w poprzednich modułach. Przygotujesz testy, ocenisz wyszukiwanie i odpowiedzi, zbadasz jedną zmianę oraz udokumentujesz projekt tak, aby inna osoba mogła zweryfikować Twoje wnioski.
1Cel i rezultaty modułu
- Oddzielasz ocenę wyszukiwania od oceny odpowiedzi i zachowania asystenta.
- Budujesz kontrakty testowe na podstawie źródeł, zanim oceniasz wyniki.
- Łączysz test, konfigurację, surowy wynik i recenzję za pomocą identyfikatorów.
- Rozpoznajesz przyczynę błędu, sprawdzasz jeden czynnik i kontrolujesz regresję.
- Przygotowujesz raport, instrukcję uruchomienia oraz demonstrację projektu.
2Materiały i przygotowanie
Pobierz pakiet M12_M6_Student.zip udostępniony przez prowadzącego i rozpakuj go w jednym miejscu. Zachowaj folder Student i jego strukturę. Prezentację M12-M6-v6.pptx otrzymasz osobno.
| Materiał | Zastosowanie |
|---|---|
| START.md | Instalacja i kolejność uruchomienia. |
| Notebook 00 | Kontrola środowiska, indeksu i kontraktów. |
| Sześć kart pracy | Wersje Word, PDF i HTML. Każda karta odpowiada jednemu notebookowi. |
| Dane i checkpointy | Korpus i indeks M3, moduły kodu M3–M5, zapisane wywołania oraz pełny historyczny pilot M5. |
| Zestaw startowy testów | 24 przypadki w 13 kategoriach, w tym 3-turowy scenariusz; łącznie 26 tur. |
| Szablony dokumentów | Plan, diagnoza, raport, instrukcja uruchomienia, demonstracja i macierz dowodów. |
Folder Prowadzacy zawiera komentarze i klucze. Do pracy uczestnika wystarczy pakiet Student.
3Uruchomienie krok po kroku
Przygotuj środowisko
Skorzystaj ze środowiska Python z M5 albo utwórz nowe według START.md. Zainstaluj zależności z requirements.txt.
Otwórz notebook 00
Uruchom JupyterLab w folderze Student. Otwórz notebook w folderze notebooki i wykonaj komórki od góry.
Wybierz tryb
W każdym notebooku wybierz MODE: checkpoint albo ollama. Na początku pozostaw checkpoint. Przejście do nowego trybu wykonaj w oddzielnej kopii projektu.
Pracuj według kart R1–R6
Notebook wykonuje operacje i zapisuje wyniki. Karta wskazuje, co ocenić ręcznie i jaki dowód zachować.
4Dwie ścieżki pracy i pochodzenie wyników
| Ścieżka | Co wykonujesz | Granica wnioskowania |
|---|---|---|
| Offline · checkpoint | R1 i R2 w całości; R3: 9 wyszukiwań na wskazanym podzbiorze; R4: 5 sprawdzonych przypadków i analiza importu M5; R5: porównanie top_k 3 i 5; R6: raport. | To odtwarzanie zapisanych wywołań. Nie mierzysz bieżącej szybkości ani jakości nowego promptu. |
| Pełna · Ollama | Wszystkie 24 przypadki / 26 tur; R3 pomija tury bez RAG. W R4 także nowe T101, T106 i pełny scenariusz. Możesz osobno zbadać rag_conditions_v1. | Modele muszą być dostępne, a embedding zgodny z indeksem. Wynik zależy od rzeczywistego wykonania; nie ma obietnicy poprawnej odpowiedzi. |
| Import historyczny M5 | Pełne rekordy R6: pytanie, odpowiedź, historia, narzędzia, źródła i diagnostyka. | Import nie jest nową próbą M6. Brakującego pełnego rankingu nie rekonstruuj przez ponowne wyszukiwanie. |
Brak checkpointu lub błąd wykonania oznacza próbę niewykonaną poprawnie. Nie wpisuj oceny zero za treść, której system nie wygenerował.
5Kolejność pracy w rozdziałach
| Rozdział | Materiały do otwarcia | Rezultat | Czas |
|---|---|---|---|
| R1 Od działającego prototypu do planu testów | Karta Word · PDF · HTML M12_M6_R1_plan_ewaluacji_start.ipynb | evaluation/evaluation_plan.md; evaluation/baseline_config.json | 45 min |
| R2 Zestaw pytań i scenariuszy testowych | Karta Word · PDF · HTML M12_M6_R2_walidacja_zestawu_start.ipynb | evaluation/test_cases.jsonl; evaluation/test_cases_validation.json | 60 min |
| R3 Trafność wyszukiwania i jakość kontekstu | Karta Word · PDF · HTML M12_M6_R3_ocena_retrieval_start.ipynb | evaluation/retrieval_runs.jsonl; retrieval_reviews.jsonl; retrieval_results.jsonl (w evaluation) | 60 min |
| R4 Ocena odpowiedzi, źródeł i zachowania asystenta | Karta Word · PDF · HTML M12_M6_R4_ocena_asystenta_start.ipynb | evaluation/assistant_results.jsonl; evaluation/assistant_reviews.jsonl | 75 min |
| R5 Analiza błędów i porównanie konfiguracji | Karta Word · PDF · HTML M12_M6_R5_analiza_bledow_start.ipynb | evaluation/error_log.jsonl; experiment_log.jsonl; error_analysis.md; regression_suite.json; final_config.json | 75 min |
| R6 Dokumentacja i prezentacja projektu | Karta Word · PDF · HTML M12_M6_R6_dokumentacja_projektu_start.ipynb | documentation/project_report.md; run_instructions.md; demo_scenario.md; traceability_matrix.csv; evaluation/evaluation_summary.md | 60 min |
Czasy są propozycją organizacji ćwiczeń: łącznie około 6 godzin i 15 minut, bez wykładu i czasu generacji modeli. Prowadzący może dostosować zakres i tempo.
6Jak oceniać i zapisywać dowody
Odpowiedź i zachowanie
Poprawność, kompletność, oparcie, precyzja, adekwatność i ostrożność. Dodatkowo sprawdź status, reason, narzędzie i argumenty.
Ocena: 0 — niespełnione, 1 — częściowo, 2 — spełnione, N/D — nie dotyczy. W plikach JSON używaj zapisu ND. Uzasadnij każdą ocenę oraz N/D. N/D nie jest zerem i nie wchodzi do mianownika.
Wypełnij pole błędu krytycznego i jego uzasadnienie. Krytyczne naruszenie kontraktu oznacza fail, nawet gdy średnia ocen jest wysoka. Brak decyzji oznacza formularz nieukończony.
M6-T101 wymaga m.in. przywrócenia zatwierdzonej kopii po nieudanym uruchomieniu. M6-T106 bada odrzucenie całego kontekstu przy progu 1,0 pod warunkiem, że żaden score nie osiąga progu. Nie utożsamiaj obu prób z ogólnym pytaniem o restart lub brak wiedzy.
7Nazwy plików i organizacja wyników
Wszystkie ścieżki licz od folderu Student. evaluation zawiera plan, kontrakty, konfiguracje, wyniki, recenzje i eksperymenty. documentation zawiera raport i instrukcje. presentation przeznacz na własny pokaz projektu.
- test_id wskazuje przypadek, turn_id — turę, run_id — wykonanie, a result_id — konkretny wynik.
- retrieval_result_id łączy odpowiedź z rankingiem tego samego wywołania RAG; dla importu historycznego może być pusty.
- Surowe wyniki dopisuj, a konfigurację bazową zachowaj. Pliki *_draft.json uzupełniasz ręcznie; nie są gotowymi ocenami.
- Łącz recenzje przez result_id i zgodny contract_hash. Nie przypisuj oceny tylko na podstawie podobnego pytania.
- Zachowaj oryginalne nazwy funkcji, zmiennych i plików. Nie stosuj zapisu fonetycznego.
8Minimum dowodów i samokontrola
Poniższy zakres jest propozycją dydaktyczną dla pakietu. Wiążące zasady oceniania i termin oddania określa prowadzący.
- Plan i rzeczywista konfiguracja bazowa; zatwierdzony zestaw minimum 20 przypadków / 8 kategorii.
- Wyniki R3 z pełnym rankingiem i minimum 3 ocenionymi kontekstami, w tym przypadek problematyczny.
- Pełny import M5 oraz wyniki R4; minimum 3 ręczne oceny: odpowiedź RAG, odmowa i doprecyzowanie.
- Trzy diagnozy różnych rodzajów błędów z dowodami, jeden eksperyment i przegląd regresji.
- Uzasadniona konfiguracja końcowa, raport, instrukcja uruchomienia, scenariusz pokazu i macierz dowodów.
- Jawna lista ograniczeń i prób niewykonanych; w wariancie offline bez deklarowania pełnej ewaluacji asystenta.
9Gdy coś nie działa
| Objaw | Działanie |
|---|---|
| Nie można zaimportować m6_tools | Otwórz notebook z Student/notebooki; zachowaj folder kod. |
| Niezgodny digest indeksu | Użyj kompletnego dostarczonego indeksu i checkpointów albo odtwórz indeks zgodnie z M3. |
| Brak identycznego checkpointu | Użyj właściwej listy R3 lub R4. Dla nowych żądań wybierz Ollama. |
| Formularz recenzji nie zapisuje się | Uzupełnij autora, oceny, uzasadnienia, decyzję i warunek krytyczny. Sprawdź kontrakt. |
| Nie ma poprawy po zmianie | Zachowaj bazę, opisz wynik negatywny i kolejną hipotezę. |
| Kontrola R6 wykazuje draft | Uzupełnij znaczniki [UZUPEŁNIJ] oraz sprawdź treść ręcznie. |
10Co przekazać prowadzącemu
Spakuj swoją roboczą kopię Student z wykonanymi notebookami, folderami evaluation i documentation oraz ewentualną prezentacją projektu. W nazwie archiwum umieść uzgodniony identyfikator uczestnika i datę. Nie dołączaj środowiska .venv, wag modeli ani danych prywatnych.
Najpierw uruchom kontrolę kompletności w R6, następnie przejdź własną instrukcję od nowej sesji. Zaznacz materiały odtworzone i importowane. Zachowaj raport kontroli oraz wyjaśnij ograniczenia.
Instrukcja pracy uczestnika | Moduł 6
Ostatnia modyfikacja: środa, 30 września 2026, 20:03