Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 6
5. R4. Odpowiedzi, źródła i zachowanie asystenta
ENHANCER+ · Moduł 6 · Ewaluacja RAG · Rozdział
Teraz oceniasz to, co otrzymał użytkownik. Wiesz już, jakie fragmenty były dostępne. Sprawdzasz więc oddzielnie prawdziwość twierdzeń, kompletność odpowiedzi, sposób użycia źródeł i wykonanie intencji rozmowy. Status answered opisuje ścieżkę aplikacji, a nie końcową ocenę jakości.
Rozbij odpowiedź na sprawdzalne twierdzenia
Dla każdego ważnego zdania wskaż fragment, który je potwierdza. Stosuj etykiety: potwierdzone, częściowo potwierdzone, niepotwierdzone, sprzeczne, zbyt ogólne albo poza zakresem. Jedna odpowiedź może łączyć wszystkie te rodzaje zdań. Prawdziwy wstęp nie usprawiedliwia dopisania nieistniejącego parametru w dalszej części.
| Twierdzenie | Ocena wobec aktualnego korpusu |
|---|---|
| Po zmianie config.yaml wykonaj restart i sprawdź is-active | Potwierdzone przez sekcję Ponowne uruchomienie usługi |
| Wynik kontroli powinien być active | Potwierdzone przez tę samą sekcję |
| Gdy uruchomienie się nie uda, przywróć zatwierdzoną kopię i zgłoś problem | Potwierdzone przez sekcję Kopia konfiguracji |
| Ustaw tls_auto_enable na true | Niepotwierdzone; taki parametr nie wynika z korpusu |
| Zgłoszenie zostanie na pewno rozwiązane w 30 minut | Niepotwierdzone; regulamin nie gwarantuje czasu rozwiązania |
Nie pomyl ostatniego zdania z timeout_seconds=30: to inny temat i jednostka. Wysoka precyzja liczby nie oznacza poprawności jej zastosowania.
Rubryka odpowiedzi
| Kryterium | Co sprawdzasz |
|---|---|
| poprawnosc | Czy twierdzenia i działanie są zgodne ze źródłem i kontraktem |
| kompletnosc | Czy podano wszystkie wymagane fakty i warunki |
| oparcie | Czy treść wynika z rzeczywiście przekazanego kontekstu |
| precyzja | Czy nazwy, wartości, polecenia i warunki są jednoznaczne |
| adekwatnosc | Czy odpowiedź realizuje bieżącą intencję |
| ostroznosc | Czy system ujawnia brak danych i respektuje granice działania |
Stosuj 0 — niespełnione, 1 — częściowo, 2 — spełnione, ze wskazaniem dowodu. Dla odmowy wykonania działania i doprecyzowania pakiet zwykle przewiduje poprawność i ostrożność, a pozostałe kryteria oznacza ND. Nie wymagaj od poprawnej odmowy kompletnej procedury, której użytkownik nie powinien otrzymać jako wykonanego działania.
Błąd krytyczny pozostaje osobną decyzją
Odpowiedź demonstracyjna na T101 brzmi: „Po zmianie konfiguracji uruchom ponownie usługę”. Samo zdanie może być prawdziwe, ale brakuje kontroli stanu, kopii po niepowodzeniu i zgłoszenia administratorowi. Pominięcie krytycznego warunku kopii oznacza niezaliczenie przypadku. Średnia sześciu ocen nie może tego ukryć.
Na slajdach znacznik nosi nazwę critical_fail. W pakiecie recenzji M6 jego odpowiednikiem jest critical_error. W zapisach wykonywalnych używaj critical_error, a w raporcie możesz opisać go jako krytyczne niepowodzenie. Nie twórz dwóch niezależnych flag o różnych wartościach.
Znacznik wymaga uzasadnienia: wskaż zdanie albo pominięty warunek, źródło i skutek dla użytkownika. Nie uznawaj za krytyczny samego długiego stylu, innej kolejności akapitów czy braku informacji, której kontrakt nie wymagał.
Źródła: format i znaczenie
Kontrola formalna sprawdza, czy etykieta, np. [S1], istnieje i wskazuje dostępne źródło. Kontrola semantyczna sprawdza, czy to źródło potwierdza dane twierdzenie. Poprawna etykieta przy błędnym fragmencie nie zapewnia oparcia. Z kolei błąd formatu cytowania nie dowodzi automatycznie, że wszystkie fakty odpowiedzi są zmyślone.
W historycznej turze 1 M5 procedura restartu i kontroli stanu ma oparcie w źródłach. Odpowiedź kończy się jednak zbiorczą informacją z S1 i S2, bez wymaganych etykiet [S1], [S2] przy twierdzeniach. Diagnostyka zgłasza missing_citations. To dobry przykład rozdzielenia jakości treści od formatu i przypisania źródeł.
Rozmowa i narzędzia
Sprawdź najpierw oryginalną wiadomość, potem standalone_question, decyzję selektora, argumenty i wykonane narzędzie. Jeżeli pytanie zależne rozwinięto poprawnie, a wybrano złą funkcję, diagnoza dotyczy wyboru narzędzia. Nie nazywaj tego automatycznie błędem pamięci rozmowy.
W historycznej turze 2 M5 pytanie „Jak sprawdzić jej stan?” rozwinięto do pytania o usługę, lecz selektor wybrał show_last_sources. Wynik miał status answered, ale nie realizował intencji. Ten rzeczywisty przykład pokazuje, dlaczego sama liczba zakończonych tur zawyża ocenę użyteczności.
Ćwiczenie R4
Oceń demonstracyjną odpowiedź T101 powyżej. Wskaż osobno prawdziwe stwierdzenie, brakujące fakty i krytyczne pominięcie. Następnie przeanalizuj historyczną turę 2 M5 i ustal najwcześniejszy etap, dla którego masz bezpośredni dowód błędu.
Sprawdź się: nie przypisujesz całej odpowiedzi jednej etykiety tylko dlatego, że zaczyna się poprawnie. Umiesz odróżnić brak kontekstu, poprawne zgłoszenie braku informacji i błąd narzędzia.
Lokalne chatboty, agenci i systemy RAG z własną bazą wiedzy · Moduł 6 · Wydanie 29.09.2026