Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 3

Ocena wyszukiwania zaczyna się od ustalenia, jaka informacja znajduje się w bazie. Oczekiwane trafienie wynika ze źródeł, a nie z wyniku modelu. Dopiero po zapisaniu tego oczekiwania uruchamiasz pomiar.

1. Przygotuj klucz przed rankingiem

Przypadek testowy opisuje pytanie oraz oczekiwane fragmenty. W plikach pakietu M3 identyfikator nazywa się question_id, a lista dopuszczalnych trafień expected_chunk_ids. question_type opisuje formę, np. direct, paraphrase lub ambiguous. case_type opisuje obecność odpowiedzi i zakres zadania.

Pytanie wieloznaczne może mieć odpowiedź przy ustalonej interpretacji. Zapisz tę interpretację w uzasadnieniu albo doprecyzuj pytanie przed pomiarem. Lista kilku expected_chunk_ids w przyjętej mierze oznacza, że wystarczy dowolny z nich. Jeżeli odpowiedź wymaga łącznie dwóch fragmentów, zwykłe Hit@k nie mierzy kompletności tego zestawu; potrzebujesz dodatkowej oceny pokrycia.

2. Hit@1, Hit@3 i Hit@5

Dla pojedynczego przypadku z odpowiedzią Hit@k wynosi 1, jeśli co najmniej jeden oczekiwany identyfikator znajduje się w pierwszych k wynikach. W przeciwnym razie wynosi 0. Pozycje rankingu liczysz od 1. Oczekiwany fragment na pozycji 2 daje Hit@1 = 0, a Hit@3 i Hit@5 = 1.

Hit@k pytania = 1, gdy top-k zawiera dopuszczalny chunk_id;
                0, gdy go nie zawiera.

Średni Hit@k = suma trafień / liczba pytań answerable.

Pytania bez odpowiedzi nie są automatycznie nieudanymi trafieniami i nie wchodzą do tego mianownika. Zapis null oznacza „nie dotyczy”, nie zero. Gdy cały zestaw nie ma przypadków answerable, średnia jest nieokreślona, a nie równa 0 lub 100%. Dla tego samego rankingu i klucza Hit@1 ≤ Hit@3 ≤ Hit@5.

3. Zestaw do ćwiczenia

Wróć do miniaturowej bazy D1–D6 z rozdziału 4. Każde poniższe pytanie oceniaj wyłącznie względem tej bazy. Najpierw ustal typ przypadku i oczekiwany fragment, następnie skorzystaj z tabeli pozycji.

4. Diagnoza przed zmianą modelu

• Czy informacja w ogóle występuje w źródle? Jeżeli nie, większe k jej nie stworzy.
• Czy po odczycie i podziale tekst zachował warunek, komendę i wynik? W razie braku wróć do przygotowania danych.
• Czy indeks odpowiada aktualnym fragmentom i zgodnemu modelowi? Sprawdź manifest oraz mapowanie.
• Czy właściwy fragment istnieje, lecz znajduje się za nisko? Przeanalizuj pytanie, sąsiednie wyniki i ustawienie k.

Większe k może poprawić Hit@k i jednocześnie dodać niepotrzebny tekst. Wysoka wartość tej miary nie gwarantuje poprawnej przyszłej odpowiedzi. Stały próg score również wymaga oceny na danych, szczególnie na pytaniach bez odpowiedzi. Nie ma uniwersalnej wartości, od której fragment staje się prawdziwy.

Ćwiczenie 6. Oblicz wyniki i zaplanuj poprawę