Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 6
8. Złożenie projektu i rozwiązywanie problemów
ENHANCER+ · Moduł 6 · Ewaluacja RAG · Rozdział
Po sześciu etapach masz proces od kontraktu do wniosku: konfiguracja i plan → przypadki → surowe wyniki → ręczne oceny → diagnoza → porównanie → raport. Zachowaj tę kolejność również w swoim projekcie. Brakującego kontraktu lub rankingu nie da się zastąpić późniejszym, przekonującym opisem.
Co działa w Twoim module
| Obszar | Funkcje własne | Wsparcie dostarczone w pakiecie |
|---|---|---|
| Baza | save_baseline | configure, check_config, zapis JSON |
| Kontrakt | validate_test_cases, prepare_search_question | pełny walidator struktury i flatten_cases |
| Retrieval | hit_at_k, source_metrics, build_retrieval_record, evaluate_retrieval_turn | embedding, indeks, próg i pętla serii |
| Asystent | assistant_step, save_review | M5, answer_from_documents, pętla scenariuszy i walidacja recenzji |
| Eksperyment | compare_configs, compare_retrieval, summarize_repeats | pliki wyników oraz formularze |
| Dokumentacja | build_traceability | CSV, szablony i kontrola kompletności |
Wszystkie trzynaście definicji pokazano w książce. Gotowe pętle z moj_m6.py używają Twoich funkcji. Standardowe notebooki nadal korzystają z m6_tools.py, dzięki czemu masz niezależny punkt odniesienia. Nie podmieniaj kodu M3–M5 tylko po to, aby przejść testy warsztatu.
Artefakty końcowe
WORK/
evaluation/
evaluation_plan.md
baseline_config.json, candidate_config.json, final_config.json
test_cases.jsonl, test_cases_validation.json
retrieval_runs.jsonl, retrieval_reviews.jsonl, retrieval_results.jsonl
assistant_results.jsonl, assistant_reviews.jsonl
error_log.jsonl, error_analysis.md
experiment_log.jsonl, regression_suite.json
evaluation_summary.md
environment_manifest.json
documentation/
project_report.md, run_instructions.md
demo_scenario.md, traceability_matrix.csvWarsztat zapisuje dane wykonania i formularze, ale nie tworzy automatycznie gotowych recenzji, wyboru końcowej konfiguracji ani prawdziwego raportu. To Twoje zadania. Skopiuj zatwierdzony test_cases do katalogu eksperymentu, zachowaj własny kod i zapisz wersję środowiska. Do oddawanego archiwum nie dodawaj .venv, wag modeli ani przypadkowych danych prywatnych.
Spójność nazewnictwa
| Na slajdzie lub w opisie | W wykonywalnym pakiecie | Znaczenie |
|---|---|---|
| retrieval_any_hit / retrieval_all_hit | metrics.ranking.any_group / all_groups | Pokrycie wymaganych grup w rankingu |
| context_any_required / context_all_required | metrics.context.any_group / all_groups | Pokrycie w końcowym kontekście |
| critical_fail | critical_error w recenzji | Krytyczne naruszenie kontraktu |
| problem_codes | problem_code w pojedynczym rekordzie błędu | Kod problemu; kilka rekordów może dotyczyć jednej tury |
| Model jako obiekt tag + digest | embedding_model, llm_model, model_digests | Identyfikacja modeli zgodna z kodem |
| N/D | ND w JSON recenzji, null w nieocenianej metryce | Brak zastosowania; odróżnij od nieukończonego formularza |
Dodatkowe pola Hit@k z warsztatu nie usuwają pól pakietu. Raport może odwoływać się do obu, jeśli podaje definicję i zakres. Identyfikatory przykładów ze slajdów nie są dowodem wykonania identycznego przypadku na Twoich danych.
Gdy coś nie działa
| Objaw | Najpierw sprawdź |
|---|---|
| Nie można importować moj_m6 | ROOT, folder kod i kernel notebooka |
| Nadal wykonywana jest stara funkcja | Czy zapisano plik i wykonano importlib.reload |
| NotImplementedError | Czy zastąpiono całą definicję z danego etapu |
| Brak checkpointu | Właściwa lista R3 lub R4, dokładny tekst i niezmieniony prompt |
| Niezgodność digestu | Komplet indeksu, manifest i model embeddingowy |
| N/D jest odrzucane | Czy kryterium figuruje w applicable_criteria danego kontraktu |
| Duplikat result_id recenzji | Czy komórka zapisu została uruchomiona ponownie |
| Porównanie odrzuca pary | test_id, turn_id, kontrakty, duplikaty i różnice konfiguracji |
| Brak final_config | Czy decyzję i uzasadnienie rzeczywiście zapisano po analizie |
Jeśli restartujesz kernel, zmienne results, config i contracts znikają. Odtwórz je z zapisanego katalogu i właściwych plików zamiast tworzyć nowy pomiar tylko po to, aby odnaleźć istniejącą recenzję. Po zmianie kodu albo kontraktu nowa próba powinna mieć nowy run_id.
Ostatnia kontrola
Sprawdź kompletność plików, zgodność referencji, uzasadnienie decyzji, zakres próby i sposób odtworzenia. Wskaż jawnie brak nowych pomiarów modelu, jeśli pracowałeś offline. Książka i warsztat uczą procesu oceny; nie nadają automatycznie prototypowi statusu gotowości do wdrożenia.
Lokalne chatboty, agenci i systemy RAG z własną bazą wiedzy · Moduł 6 · Wydanie 29.09.2026