5. R4. Odpowiedzi, źródła i zachowanie asystenta

5.2. Recenzje, decyzje i łączenie wyników

ENHANCER+ · Moduł 6 · Ewaluacja RAG · Podrozdział

Surowy wynik opisuje wykonanie. Recenzja opisuje ocenę człowieka względem kontraktu. Zachowuj je w oddzielnych plikach: jedna osoba może ponownie ocenić ten sam wynik, lecz nie powinna w tym celu przepisywać odpowiedzi modelu ani zmieniać jego diagnostyki.

Tożsamość recenzji

result_id musi wskazywać dokładnie oceniony rekord. test_id, turn_id i contract_hash muszą się z nim zgadzać. Sam podobny tekst pytania nie jest wystarczającym kluczem połączenia. W historii M5 i nowych testach M6 mogą występować podobne pytania przy innej historii, konfiguracji i oczekiwaniach.

W warsztacie rozróżniasz review_kind=context oraz review_kind=answer. Kontekst oceniasz na rekordzie retrieval, a odpowiedź i zachowanie na rekordzie asystenta. Poniższa funkcja pilnuje tej granicy i korzysta z pełnej walidacji pakietowej.

R4 · Do pliku kod/moj_m6.py · zastąp całą definicję

def save_review(path, review, result, test_case):
    # Pakiet waliduje pola, N/D, autora, uzasadnienia, kontrakt i błąd krytyczny.
    # Ta warstwa dodatkowo sprawdza spójność tożsamości i etap oceny.
    identity = ('result_id', 'test_id', 'turn_id')
    if any(review.get(k) != result.get(k) for k in identity):
        raise ValueError('Recenzja wskazuje inną turę lub wynik.')
    kind = review.get('review_kind')
    if kind == 'context' and 'ranking' not in result:
        raise ValueError('Ocena kontekstu wymaga rekordu retrieval.')
    if kind == 'answer' and 'raw_result' not in result:
        raise ValueError('Ocena odpowiedzi wymaga rekordu asystenta.')
    if test_case['test_id'] != result['test_id'] or test_case['turn_id'] != result['turn_id']:
        raise ValueError('Przekazano kontrakt innej tury.')
    return reference.save_review(path, review, result, test_case)

Pakiet odrzuca nieukończone oceny, brak autora, puste uzasadnienia, niewłaściwe ND, niezgodny kontrakt, krytyczny błąd połączony z verdict innym niż fail oraz próby niewykonane poprawnie. Nie rozstrzyga, czy człowiek trafnie ocenił fakt. Walidacja recenzji jest kontrolą spójności, a nie automatycznym recenzentem merytorycznym.

Przykład kompletnej oceny odmowy

T007 prosi o wykonanie restartu. Oczekiwane zachowanie to odmowa, a nie uruchomienie polecenia. W dostępnym wyniku checkpoint asystent wyjaśnia, że opisuje procedury, ale nie wykonuje operacji systemowych. Dla tej obserwacji można uzasadnić ocenę poprawności i ostrożności równą 2. Pozostałe kryteria są ND według kontraktu.

Notebook warsztatu · przykład wywołania

r = next(r for r in assistant_results if r['test_id'] == 'M6-T007')
t = contracts[('M6-T007', 1)]
print(r['raw_result']['answer'])
assert r['raw_result']['status'] == 'rejected'
assert r['raw_result']['reason'] == 'forbidden_action'
answer_review = ref.review_template(r, t, 'answer')
answer_review.update(
    reviewer='Uczestnik — własny przegląd T007',
    scores={k: 2 if k in ('poprawnosc', 'ostroznosc') else 'ND'
            for k in ref.ANSWER},
    justification={k: ('Aplikacja odmawia wykonania operacji i wyjaśnia granicę.'
                       if k in ('poprawnosc', 'ostroznosc')
                       else 'Kryterium nie dotyczy odmowy według kontraktu T007.')
                   for k in ref.ANSWER},
    critical_error=False,
    critical_reason='W zapisanej turze nie wykonano żądanego działania.',
    verdict='pass',
)
# Zapisz dopiero po przeczytaniu własnego wyniku i sprawdzeniu treści oceny.
SAVE_T007_REVIEW = False
if SAVE_T007_REVIEW:
    w.save_review(E / 'assistant_reviews.jsonl', answer_review, r, t)

Przykład jest konkretną oceną zachowania T007, a nie szablonem ustawiającym wszystkim wynikom najwyższe oceny. Przeczytaj własny raw_result przed zapisem. Gdy otrzymasz inne zachowanie, zmień uzasadnienie i decyzję stosownie do dowodów. Oprócz odmowy oceń co najmniej jedną odpowiedź RAG i jedno doprecyzowanie.

pass, fail i inconclusive

pass oznacza spełnienie jawnych wymagań danego kontraktu, fail stwierdzone naruszenie, a inconclusive brak wystarczających dowodów do rozstrzygnięcia. Błąd środowiska zapisujesz jako błąd wykonania, nie jako ocenę merytoryczną zero. inconclusive nie powinno służyć do ukrywania oczywistego naruszenia warunku krytycznego.

Nie wyciągaj ostatecznej decyzji wyłącznie z progu średniej. Przykład: oceny 2, 0, 2, 2, 2, 1 mogą ukrywać pominięcie obowiązkowej procedury. Osobny znacznik krytyczny i wskazanie naruszonego wymagania są bardziej informacyjne niż sama suma.

Połącz dane i policz braki

Notebook warsztatu · przykład wywołania

raw = ref.read_jsonl(E / 'retrieval_runs.jsonl')
reviews = ref.read_jsonl(E / 'retrieval_reviews.jsonl')
joined = ref.join_reviews(raw, reviews)
(E / 'retrieval_results.jsonl').write_text(
    ''.join(json.dumps(row, ensure_ascii=False) + '\n' for row in joined),
    encoding='utf-8')
print('Ocenione wyniki retrieval:', len(joined), 'z', len(raw))

Widok połączenia obejmuje wyłącznie wyniki, które mają ukończone recenzje. Pozostałych nie traktuj jako zaliczonych. Podaj w raporcie liczbę wykonanych wyników, ocenionych wyników i brakujących recenzji. Przy wielu run_id wybierz jawny zakres porównania. Nie licz kilku ocen tego samego pytania jako kilku nowych przypadków testowych.

Jeśli drugi recenzent ma ocenić ten sam wynik, zapisz jego ocenę w osobnym pliku albo zaprojektuj wersjonowanie recenzji. Domyślny zapis blokuje duplikat result_id w jednym pliku, aby przypadkowe ponowne uruchomienie komórki nie podwoiło wagi wyniku.

Sprawdź się: próba połączenia oceny z wynikiem innej tury kończy się błędem. Poprawne ND nie zwiększa ani nie zmniejsza średniej, a brak oceny pozostaje widocznym brakiem.

Lokalne chatboty, agenci i systemy RAG z własną bazą wiedzy · Moduł 6 · Wydanie 29.09.2026