Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 6
10. Słownik pojęć i granice interpretacji
ENHANCER+ · Moduł 6 · Ewaluacja RAG · Rozdział
Testy i dane
| Pojęcie | Znaczenie w M6 |
|---|---|
| Baseline | Zamrożona konfiguracja stanowiąca punkt odniesienia |
| Kontrakt testu | Wejście oraz jawne wymagania i zakazy ustalone przed pomiarem |
| Przypadek | Niezależny test albo cały scenariusz z własnym test_id |
| Tura | Jedna wiadomość użytkownika i jej obsługa |
| Przebieg | Wykonanie serii z własnym run_id |
| Wynik | Konkretna obserwacja o własnym result_id |
| Digest | Identyfikacja zawartości modelu, odrębna od jego tagu |
| Fingerprint kontraktu | Skrót treści używany do wykrycia zmiany oczekiwań |
| Checkpoint | Zapisane wywołanie odtwarzane przy zgodnym żądaniu |
| Provenance / pochodzenie | Informacja, skąd i z jakich warunków pochodzi rekord |
Wyszukiwanie i kontekst
| Pojęcie | Znaczenie w M6 |
|---|---|
| Ranking | Uporządkowane wyniki wyszukiwania przed filtrowaniem |
| top_k | Liczba pozycji pobieranych do dalszego przetwarzania |
| Score | Miara podobieństwa wektorowego, nie prawdopodobieństwo poprawności |
| Próg podobieństwa | Granica odrzucania wyników według score |
| Hit@k | Obecność co najmniej jednego oczekiwanego fragmentu w pierwszych k pozycjach |
| expected_rank | Pozycja pierwszego oczekiwanego fragmentu w zapisanym rankingu |
| MRR@k | Średnia odwrotność pozycji przy ograniczeniu obserwacji do top-k |
| Grupa dowodów | Wymagane fragmenty albo jawny pełny substytut grupy |
| Pokrycie grup | Udział spełnionych grup wymaganych przez kontrakt |
| Końcowy kontekst | Materiał, który pozostał po filtrach i jest podstawą odpowiedzi |
| Szum | Treść zbędna wobec badanego pytania |
Ocena i eksperyment
| Pojęcie | Znaczenie w M6 |
|---|---|
| Rubryka | Zdefiniowane kryteria i znaczenia ocen |
| ND | Kryterium lub metryka nie dotyczy przypadku |
| null w formularzu | Ocena jeszcze niewypełniona |
| Błąd krytyczny | Naruszenie wymagania dyskwalifikującego wynik mimo innych dobrych ocen |
| Regresja | Pogorszenie wcześniej spełnianego wymagania po zmianie |
| Zmienność | Różnice między nowymi wykonaniami przy ustalonych warunkach |
| Mediana | Środkowa wartość uporządkowanych ocen |
| Macierz dowodów | Powiązanie wniosku z testem, wynikiem, recenzją i plikiem |
| Odtwarzalność | Możliwość ponownego wykonania opisanej procedury przy znanych warunkach |
Czego nie utożsamiać
Dostęp do źródła nie gwarantuje wykorzystania jego treści. Wysokie Hit@k nie gwarantuje pełnego pokrycia. Pełne pokrycie nie gwarantuje poprawnej generacji. Poprawne etykiety nie gwarantują semantycznego oparcia. Status answered nie gwarantuje realizacji intencji. Trzy udane próby nie gwarantują niezawodności we wszystkich zastosowaniach.
Każde z tych zdań wskazuje granicę pomiaru. Znając tę granicę, potrafisz zaproponować następny test i sformułować wniosek, który rzeczywiście wynika z danych.
Lokalne chatboty, agenci i systemy RAG z własną bazą wiedzy · Moduł 6 · Wydanie 29.09.2026