Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 6
6. R5. Od objawu do potwierdzonej przyczyny
ENHANCER+ · Moduł 6 · Ewaluacja RAG · Rozdział
„Asystent odpowiedział źle” jest początkiem analizy. Diagnoza wymaga ustalenia, jaki fakt był potrzebny, gdzie powinien być dostępny i na którym etapie został utracony lub zniekształcony. Oddziel obserwację od hipotezy. Dowód może potwierdzać brak fragmentu w top-k, ale jeszcze nie wyjaśniać, dlaczego ranking go pominął.
Przejdź przez ślad od początku
Zacznij od korpusu: czy informacja w ogóle istnieje i jest aktualna? Następnie sprawdź ekstrakcję i podział na fragmenty, obecność rekordu w indeksie, pytanie samodzielne, ranking, wynik progu, końcowy kontekst, odpowiedź i przypisanie źródeł. W rozmowie dodaj kontrolę historii, selekcji, walidacji i wykonania narzędzia.
Nie diagnozuj błędu generowania tylko na podstawie braku faktu w odpowiedzi. Jeżeli faktu nie było w kontekście, wcześniejszą potwierdzoną usterką może być wyszukiwanie. Jeśli fakt był obecny, a model go pominął, dopiero wtedy masz podstawę do badania promptu lub generowania. W jednej turze mogą współistnieć różne problemy, więc rejestr może zawierać kilka error_id wskazujących jeden result_id.
Trzy rzeczywiste przypadki do analizy
| Dowód | Obserwacja | Najwcześniejszy potwierdzony etap | Hipoteza do sprawdzenia |
|---|---|---|---|
| T004, R3, top_k=3 | Nie ma fragmentu procedury awaryjnej | retrieval | Wymagany fragment leży poza pierwszą trójką |
| Historyczna tura_1 M5 | Treść procedury ma oparcie, ale brak prawidłowych etykiet cytowań | sources_presented | Model nie zachował wymaganego formatu źródeł |
| Historyczna tura_2 M5 | Resolver wskazał usługę, selektor wybrał pokazanie źródeł | tool_selection | Selektor błędnie rozpoznał intencję pytania |
Historyczny tls_domyslnie odpowiada „Brak informacji w dostarczonym kontekście.” Nie jest dowodem halucynacji tylko dlatego, że pobrano kontekst o DocAssist. Możesz osobno skrytykować przydatność retrievalu i uznać ostrożność wygenerowanej treści za poprawną. To rozróżnienie chroni przed błędną diagnozą całego systemu.
Rejestr błędu
stage wskazuje etap, a problem_code typ problemu ze słownika. W pakiecie zapisujesz jeden kod na rekord. Na slajdzie występuje również skrót z listą problem_codes: jeśli problemów jest kilka, w tym schemacie utwórz kilka rekordów albo przed pomiarem wprowadź jawnie nową wersję schematu. Nie zamieniaj bez zapowiedzi napisu na listę, której narzędzia nie obsługują.
Notebook warsztatu · przykład wywołania
r = next(r for r in retrieval_results if r['test_id'] == 'M6-T004')
error = ref.draft_error(r, 'retrieval', 'retrieval_miss')
error.update(
symptom='Brak procedury awaryjnej w top-3.',
evidence='W rankingu nie ma DOC-INSTR-dd6055d675-0003.',
hypothesis='Wymagana grupa leży poniżej bieżącego top_k.',
user_impact='Kontekst nie wystarcza do opisania przywrócenia kopii.',
proposed_change='Sprawdzić top_k=5 bez innych zmian.',
regression_test_ids=['M6-T004', 'M6-T020'],
)
# Potwierdź dowód w swoim rankingu przed zapisaniem.
ref.save_json(E / 'error_draft.json', error)Przykład ma pola objawu, dowodu, hipotezy, skutku i proponowanej zmiany. Uzasadnij je na podstawie rzeczywistego result_id. Twierdzenie „model embeddingowy jest zły” jest zbyt szerokie wobec jednego nietrafionego fragmentu. Trafniejsza hipoteza brzmi: „wymagany fragment leży niżej niż bieżące top_k; sprawdzę szerszy ranking przy tym samym pytaniu i indeksie”.
Klasy problemów i zależności
Zmiana dokumentu, chunkingu lub modelu embeddingowego wymaga spójnego nowego indeksu i ponownego wykonania etapów zależnych. Zmiana progu lub top_k wymaga nowego wyboru kontekstu, a jeśli oceniasz odpowiedzi, także ich ponownego uzyskania. Zmiana promptu może być badana na zamrożonym kontekście, jeśli celem jest izolowany wpływ instrukcji generowania. Pełna tura asystenta obejmuje jednak także selektor, którego zachowanie musi pozostać widoczne.
| Rodzaj zmiany | Co powtarzasz |
|---|---|
| Dokumenty, chunking, embedding | Przygotowanie indeksu oraz wszystkie późniejsze etapy |
| top_k, próg | Retrieval/kontekst oraz odpowiedzi, jeśli są przedmiotem oceny |
| Prompt odpowiedzi | Generację i ocenę na jawnie ustalonej podstawie |
| Selektor lub resolver | Całe scenariusze rozmowy wraz z narzędziami |
| Format prezentacji źródeł | Kontrolę formatowania i mapowania, a nie dowolny nowy ranking |
Priorytet problemu
Najpierw zajmij się ryzykiem nieprawdziwej lub niedozwolonej instrukcji i krytycznymi warunkami. Potem analizuj błędy częste albo utrudniające realizację głównego zadania. Samo zwiększenie liczby poprawnych łatwych pytań nie równoważy pogorszenia jednego krytycznego scenariusza.
Ćwiczenie R5
Dla trzech przypadków z tabeli zapisz osobno objaw, bezpośredni dowód i hipotezę. Wskaż test, który mógłby obalić każdą hipotezę. Następnie wybierz jedną zmianę możliwą do zbadania offline i określ, których wniosków nadal nie będzie można wyciągnąć.
Sprawdź się: jeśli nie masz danych o wcześniejszym etapie, zapisujesz brak dowodu, a nie pewną przyczynę. Negatywny wynik eksperymentu także jest użytecznym rezultatem.
Lokalne chatboty, agenci i systemy RAG z własną bazą wiedzy · Moduł 6 · Wydanie 29.09.2026