Tryby pracy i rzetelna ocena

Wstęp do ćwiczeń DocAssist · Instrukcja uczestnika

Przy każdym etapie zapisz użyty korpus lub indeks, konfigurację, tryb pracy i pochodzenie wyników: własne wykonanie Ollama, checkpoint (odtworzenie), DEMO albo test kontrolowany. Zachowuj surowe odpowiedzi i oceniaj je samodzielnie. Rozpoznany i uzasadniony błąd modelu może być wartościowym rezultatem zadania.

Nowe pytania, własny indeks i zmienione prompty wymagają rzeczywistych wywołań lokalnych modeli. Checkpoint obsługuje tylko zgodne zapisane żądania. Jeśli potrzebnego wyniku nie ma, oznacz próbę jako niewykonaną. W M6 rozdziel dostępne wyniki retrieval, wyniki asystenta i historyczne wyniki M5; poprawa wyszukiwania nie jest jeszcze dowodem poprawy pełnej odpowiedzi.

DocAssist jest fikcyjny. Polecenia systemowe w jego dokumentach są tekstem do analizy — nie wykonuj ich. Asystent ma objaśniać procedury, pokazywać źródła i metadane oraz blokować niedozwolone wykonania.

Oceniaj osobno wyszukiwanie, kontekst, odpowiedź, źródła, rozmowę, narzędzia i wynik użytkowy. Wysoki wynik podobieństwa, etykieta źródła czy status odpowiedzi nie wystarczają do uznania treści za poprawną. Każdy ważny wniosek powinien mieć dowód; brak dowodu opisz jako nierozstrzygnięty. Metryki podawaj z licznikiem i mianownikiem.

Zakres dostępnych dowodów

Tryb	Co oznacza
`ollama`	Nowe wywołania lokalnych modeli. To główna ścieżka dla własnego korpusu, pytań i zmienionych promptów.
`bez_llm` w M2	Własne przygotowanie i audyt danych, bez wywołań modelu językowego.
`demo` w M1	Analiza dostępnych przykładów autorów. Nie stanowi sześciu nowych odpowiedzi na pytania zadania.
`checkpoint` w M3–M6	Odtwarzanie zgodnych żądań na indeksie referencyjnym. Brak identycznego żądania oznacza niewykonaną próbę, a nie odpowiedź modelu. M4 może otrzymać takie braki dla pytań cyklu.
Test kontrolowany w M5	Sprawdzenie walidacji narzędzi i argumentów bez LLM. Raportuj je oddzielnie od rozmów z modelem.

M6: pełne kontrakty, wybrany pomiar

Pełny zestaw ma 24 rekordy i 13 kategorii. Notebook tworzy roboczą kopię evaluation/test_cases.jsonl w folderze próby. Dopasuj odwołania do fragmentów w całym zestawie, zachowując sens kontraktów, zatwierdź je przed pomiarem i wykonaj pełną walidację.

Wybrany pomiar obejmuje 12 rekordów / 14 tur i w pełnej postaci wymaga nowych wywołań. Dostępny zakres offline różni się dla retrieval i asystenta. Wspólny podzbiór z zakresem cyklu to: retrieval — M6-T001, T002, T004, T006, S001; asystent — M6-T007, T008, T010. Przy skrótach obowiązuje prefiks M6-. Pozostałe próby oznacz jako niewykonane.

Przed sprawdzeniem poprawy zachowaj wersję bazową. Notebook porównuje jedną zmianę top_k z 3 na 5. Porównuj sparowane przypadki, a nowe wyniki oceniaj według tych samych oczekiwań. Porównanie offline dotyczy retrieval; nie dowodzi poprawy pełnej odpowiedzi asystenta. Własną zmianę kodu lub innych parametrów opisz i przetestuj osobno.

DocAssist · Instrukcja uczestnika · Wersja z 6 października 2026