Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 6: R5. Od objawu do potwierdzonej przyczyny

6. R5. Od objawu do potwierdzonej przyczyny

ENHANCER+ · Moduł 6 · Ewaluacja RAG · Rozdział

„Asystent odpowiedział źle” jest początkiem analizy. Diagnoza wymaga ustalenia, jaki fakt był potrzebny, gdzie powinien być dostępny i na którym etapie został utracony lub zniekształcony. Oddziel obserwację od hipotezy. Dowód może potwierdzać brak fragmentu w top-k, ale jeszcze nie wyjaśniać, dlaczego ranking go pominął.

Przejdź przez ślad od początku

Zacznij od korpusu: czy informacja w ogóle istnieje i jest aktualna? Następnie sprawdź ekstrakcję i podział na fragmenty, obecność rekordu w indeksie, pytanie samodzielne, ranking, wynik progu, końcowy kontekst, odpowiedź i przypisanie źródeł. W rozmowie dodaj kontrolę historii, selekcji, walidacji i wykonania narzędzia.

Nie diagnozuj błędu generowania tylko na podstawie braku faktu w odpowiedzi. Jeżeli faktu nie było w kontekście, wcześniejszą potwierdzoną usterką może być wyszukiwanie. Jeśli fakt był obecny, a model go pominął, dopiero wtedy masz podstawę do badania promptu lub generowania. W jednej turze mogą współistnieć różne problemy, więc rejestr może zawierać kilka error_id wskazujących jeden result_id.

Trzy rzeczywiste przypadki do analizy

Dowód	Obserwacja	Najwcześniejszy potwierdzony etap	Hipoteza do sprawdzenia
T004, R3, top_k=3	Nie ma fragmentu procedury awaryjnej	retrieval	Wymagany fragment leży poza pierwszą trójką
Historyczna tura_1 M5	Treść procedury ma oparcie, ale brak prawidłowych etykiet cytowań	sources_presented	Model nie zachował wymaganego formatu źródeł
Historyczna tura_2 M5	Resolver wskazał usługę, selektor wybrał pokazanie źródeł	tool_selection	Selektor błędnie rozpoznał intencję pytania

Historyczny tls_domyslnie odpowiada „Brak informacji w dostarczonym kontekście.” Nie jest dowodem halucynacji tylko dlatego, że pobrano kontekst o DocAssist. Możesz osobno skrytykować przydatność retrievalu i uznać ostrożność wygenerowanej treści za poprawną. To rozróżnienie chroni przed błędną diagnozą całego systemu.

Rejestr błędu

stage wskazuje etap, a problem_code typ problemu ze słownika. W pakiecie zapisujesz jeden kod na rekord. Na slajdzie występuje również skrót z listą problem_codes: jeśli problemów jest kilka, w tym schemacie utwórz kilka rekordów albo przed pomiarem wprowadź jawnie nową wersję schematu. Nie zamieniaj bez zapowiedzi napisu na listę, której narzędzia nie obsługują.

Notebook warsztatu · przykład wywołania

r = next(r for r in retrieval_results if r['test_id'] == 'M6-T004')
error = ref.draft_error(r, 'retrieval', 'retrieval_miss')
error.update(
    symptom='Brak procedury awaryjnej w top-3.',
    evidence='W rankingu nie ma DOC-INSTR-dd6055d675-0003.',
    hypothesis='Wymagana grupa leży poniżej bieżącego top_k.',
    user_impact='Kontekst nie wystarcza do opisania przywrócenia kopii.',
    proposed_change='Sprawdzić top_k=5 bez innych zmian.',
    regression_test_ids=['M6-T004', 'M6-T020'],
)
# Potwierdź dowód w swoim rankingu przed zapisaniem.
ref.save_json(E / 'error_draft.json', error)

Przykład ma pola objawu, dowodu, hipotezy, skutku i proponowanej zmiany. Uzasadnij je na podstawie rzeczywistego result_id. Twierdzenie „model embeddingowy jest zły” jest zbyt szerokie wobec jednego nietrafionego fragmentu. Trafniejsza hipoteza brzmi: „wymagany fragment leży niżej niż bieżące top_k; sprawdzę szerszy ranking przy tym samym pytaniu i indeksie”.

Klasy problemów i zależności

Zmiana dokumentu, chunkingu lub modelu embeddingowego wymaga spójnego nowego indeksu i ponownego wykonania etapów zależnych. Zmiana progu lub top_k wymaga nowego wyboru kontekstu, a jeśli oceniasz odpowiedzi, także ich ponownego uzyskania. Zmiana promptu może być badana na zamrożonym kontekście, jeśli celem jest izolowany wpływ instrukcji generowania. Pełna tura asystenta obejmuje jednak także selektor, którego zachowanie musi pozostać widoczne.

Rodzaj zmiany	Co powtarzasz
Dokumenty, chunking, embedding	Przygotowanie indeksu oraz wszystkie późniejsze etapy
top_k, próg	Retrieval/kontekst oraz odpowiedzi, jeśli są przedmiotem oceny
Prompt odpowiedzi	Generację i ocenę na jawnie ustalonej podstawie
Selektor lub resolver	Całe scenariusze rozmowy wraz z narzędziami
Format prezentacji źródeł	Kontrolę formatowania i mapowania, a nie dowolny nowy ranking

Priorytet problemu

Najpierw zajmij się ryzykiem nieprawdziwej lub niedozwolonej instrukcji i krytycznymi warunkami. Potem analizuj błędy częste albo utrudniające realizację głównego zadania. Samo zwiększenie liczby poprawnych łatwych pytań nie równoważy pogorszenia jednego krytycznego scenariusza.

Ćwiczenie R5

Dla trzech przypadków z tabeli zapisz osobno objaw, bezpośredni dowód i hipotezę. Wskaż test, który mógłby obalić każdą hipotezę. Następnie wybierz jedną zmianę możliwą do zbadania offline i określ, których wniosków nadal nie będzie można wyciągnąć.

Sprawdź się: jeśli nie masz danych o wcześniejszym etapie, zapisujesz brak dowodu, a nie pewną przyczynę. Negatywny wynik eksperymentu także jest użytecznym rezultatem.

Lokalne chatboty, agenci i systemy RAG z własną bazą wiedzy · Moduł 6 · Wydanie 29.09.2026