Wstęp do ćwiczeń DocAssist — instrukcja uczestnika
7. Tryby pracy i rzetelna ocena
Tryby pracy i rzetelna ocena
Wstęp do ćwiczeń DocAssist · Instrukcja uczestnika
Przy każdym etapie zapisz użyty korpus lub indeks, konfigurację, tryb pracy i pochodzenie wyników: własne wykonanie Ollama, checkpoint (odtworzenie), DEMO albo test kontrolowany. Zachowuj surowe odpowiedzi i oceniaj je samodzielnie. Rozpoznany i uzasadniony błąd modelu może być wartościowym rezultatem zadania.
Nowe pytania, własny indeks i zmienione prompty wymagają rzeczywistych wywołań lokalnych modeli. Checkpoint obsługuje tylko zgodne zapisane żądania. Jeśli potrzebnego wyniku nie ma, oznacz próbę jako niewykonaną. W M6 rozdziel dostępne wyniki retrieval, wyniki asystenta i historyczne wyniki M5; poprawa wyszukiwania nie jest jeszcze dowodem poprawy pełnej odpowiedzi.
DocAssist jest fikcyjny. Polecenia systemowe w jego dokumentach są tekstem do analizy — nie wykonuj ich. Asystent ma objaśniać procedury, pokazywać źródła i metadane oraz blokować niedozwolone wykonania.
Oceniaj osobno wyszukiwanie, kontekst, odpowiedź, źródła, rozmowę, narzędzia i wynik użytkowy. Wysoki wynik podobieństwa, etykieta źródła czy status odpowiedzi nie wystarczają do uznania treści za poprawną. Każdy ważny wniosek powinien mieć dowód; brak dowodu opisz jako nierozstrzygnięty. Metryki podawaj z licznikiem i mianownikiem.
Zakres dostępnych dowodów
| Tryb | Co oznacza |
|---|---|
ollama | Nowe wywołania lokalnych modeli. To główna ścieżka dla własnego korpusu, pytań i zmienionych promptów. |
bez_llm w M2 | Własne przygotowanie i audyt danych, bez wywołań modelu językowego. |
demo w M1 | Analiza dostępnych przykładów autorów. Nie stanowi sześciu nowych odpowiedzi na pytania zadania. |
checkpoint w M3–M6 | Odtwarzanie zgodnych żądań na indeksie referencyjnym. Brak identycznego żądania oznacza niewykonaną próbę, a nie odpowiedź modelu. M4 może otrzymać takie braki dla pytań cyklu. |
| Test kontrolowany w M5 | Sprawdzenie walidacji narzędzi i argumentów bez LLM. Raportuj je oddzielnie od rozmów z modelem. |
M6: pełne kontrakty, wybrany pomiar
Pełny zestaw ma 24 rekordy i 13 kategorii. Notebook tworzy roboczą kopię evaluation/test_cases.jsonl w folderze próby. Dopasuj odwołania do fragmentów w całym zestawie, zachowując sens kontraktów, zatwierdź je przed pomiarem i wykonaj pełną walidację.
Wybrany pomiar obejmuje 12 rekordów / 14 tur i w pełnej postaci wymaga nowych wywołań. Dostępny zakres offline różni się dla retrieval i asystenta. Wspólny podzbiór z zakresem cyklu to: retrieval — M6-T001, T002, T004, T006, S001; asystent — M6-T007, T008, T010. Przy skrótach obowiązuje prefiks M6-. Pozostałe próby oznacz jako niewykonane.
Przed sprawdzeniem poprawy zachowaj wersję bazową. Notebook porównuje jedną zmianę top_k z 3 na 5. Porównuj sparowane przypadki, a nowe wyniki oceniaj według tych samych oczekiwań. Porównanie offline dotyczy retrieval; nie dowodzi poprawy pełnej odpowiedzi asystenta. Własną zmianę kodu lub innych parametrów opisz i przetestuj osobno.
DocAssist · Instrukcja uczestnika · Wersja z 6 października 2026