Zadanie dodatkowe · Moduł 6 · Lokalne chatboty, agenci i RAG

Czas orientacyjny

90–120 minut

Status

Nieobowiązkowe, utrwalające

Forma

Praca indywidualna

Oceń prototyp z M5 na stałym zestawie przypadków i przygotuj końcowy pakiet pokazujący działanie, jakość i ograniczenia rozwiązania.

To jeden etap wspólnego projektu. Korzystaj z wyników wcześniejszych ćwiczeń kursowych. Błąd modelu nie oznacza błędnego wykonania zadania, jeżeli rozpoznasz go i uzasadnisz na podstawie dowodów.

1Przygotuj materiały

• Indeks i konfiguracja bazowa ocenianego prototypu M5 oraz jego kontrakt i surowe ślady. Porównaj ustawienia zapisane w M6 z M5; notebook M6 nie importuje automatycznie własnych zmian kodu ani konfiguracji prototypu.
• dane/DocAssist_M6_ocena_i_dokumentacja.ipynb i pełny dane/M6/test_cases_wzorzec.jsonl, rubryki oraz słowniki. Pełny zestaw zachowaj do walidacji; 12 wybranych rekordów stanowi zakres pomiaru.
• Zakres podstawowy: M6-T001, T002, T004, T005, T006, T011, T012, T007, T008, T009, T010 oraz M6-S001. Przy skrótach T zawsze obowiązuje prefiks M6-.

2Wykonaj zadanie

1. W notebooku cyklu wskaż indeks ocenianego prototypu i edytuj pełną kopię evaluation/test_cases.jsonl w folderze próby. Notebook odczytuje fragmenty właściwego indeksu i ustawia zakres pomiaru. Jeśli używasz alternatywnych starterów R1–R6 pakietu podstawowego, samodzielnie ustaw właściwy indeks, robocze kontrakty i zakres test_ids zgodnie z poleceniem.

2. Przed pomiarem zatwierdź oczekiwane zachowania, fakty wymagane i źródła na podstawie aktualnego korpusu. Jeżeli własny indeks ma inne chunk_id, przypisz je według dokumentu i sekcji, zachowując sens kontraktów. Zapisz wersję zestawu i konfigurację bazową.

3. Zweryfikuj pełny zestaw testów M6, a następnie wykonaj pomiar dla 12 wybranych pozycji, korzystając z ustawionego zakresu notebooka cyklu. Przy pracy na starterach R3/R4 przekaż identyfikatory jako test_ids i dostosuj listy wyników do recenzji. Scenariusz S001 ma trzy tury; cały zakres to 14 ocenianych tur. Nie próbuj walidować 12 pozycji jako pełnego zestawu spełniającego domyślne minimum pakietu M6.

4. Oceń siedem warstw: wyszukiwanie, kontekst, odpowiedź, źródła, rozmowa, narzędzia i wynik użytkowy. Użyj rubryk M6; dla kryteriów nieadekwatnych wpisz N/D. Brak pomiaru lub dowodu opisz jako nierozstrzygnięty, nie jako wynik poprawny.

5. Policz Hit@1/3/5 dla przypadków retrieval z oczekiwanymi źródłami, a dla odpowiedzi wieloźródłowych oceń pokrycie wszystkich wymaganych grup. Oddzielnie zestaw poprawność odpowiedzi, komunikaty o braku danych, doprecyzowania oraz blokady działań. Podaj licznik i mianownik każdej miary.

6. Wybierz jeden błąd albo jedną niepewność. Prześledź pierwszy etap, na którym wynik przestaje spełniać kontrakt. Sprawdź jedną zmianę, np. top_k=3 wobec 5, bez równoczesnej zmiany modelu, korpusu i promptu. Porównuj sparowane przypadki i sprawdź regresję w pozostałym zakresie.

7. Przygotuj instrukcję odtworzenia oraz raport końcowy (2–3 strony). Pokaż dowody: poprawna odpowiedź ze źródłem, dialog zależny od historii, komunikat o braku wiedzy i odrzucenie restartu. Nagraj opcjonalny pokaz 3–5 minut lub przygotuj równoważny zapis ekranów i wyników. Sformułuj decyzję: gotowy do demonstracji albo wymagający dalszych poprawek, z uzasadnieniem.

3Co przesłać w Moodle

• Jeden ZIP projektu: kod/notebooki, konfiguracja, instrukcja uruchomienia, źródła lub ich manifest, kompletny indeks, kontrakty testów, surowe wyniki i własne oceny.
• Raport końcowy oraz porównanie jednej zmiany z bazą. Dołącz wskazanie, gdzie odszukać dowód każdego głównego wniosku.
• Opcjonalne nagranie lub dokumentacja demonstracji. Nie dołączaj środowiska .venv, wag modeli ani materiałów z kluczami prowadzącego.

Prześlij jeden ZIP z plikami wskazanymi wyżej albo notatkę oraz załączniki w sposób przyjęty przez prowadzącego. Na początku notatki podaj etap, użyty korpus/indeks, tryb pracy i pochodzenie wyników. Zrzuty ekranu mogą uzupełniać dane, ale nie zastępują surowych wyników.

4Sprawdź swoją pracę

• Przypadki i oczekiwania były ustalone przed pomiarem, a wyniki odnoszą się do określonego run_id.
• Ranking i kontekst ocenianej odpowiedzi pochodzą z jej wywołania; niezależny retrieval nie zastępuje śladu tej odpowiedzi.
• Jedna zmiana ma porównywalną próbę bazową i sprawdzenie regresji.
• Błędna odpowiedź modelu jest poprawnie rozpoznana i opisana; nie retuszujesz surowego wyniku.
• Osoba korzystająca z instrukcji potrafi odtworzyć wybrany przebieg i rozpoznać ograniczenia.

5Zachowaj do dalszej pracy

Efekt końcowy: udokumentowany i przetestowany lokalny asystent DocAssist z własną bazą wiedzy, źródłami, historią i kontrolowanymi narzędziami.

6Wariant analityczny bez nowych wywołań modelu

M6 udostępnia różne podzbiory checkpointów dla retrieval i asystenta. Do wariantu analitycznego użyj tylko dostępnych wyników oraz historycznego importu M5, oznaczając ich pochodzenie. Porównanie top_k=3/5 w R5 offline dotyczy retrieval; nie dowodzi poprawy pełnej odpowiedzi asystenta. Pozostałe pozycje oznacz jako niewykonane. Wariant ten kończy się raportem analizy prototypu referencyjnego, nie własnym pomiarem całego systemu.

Oznacz jawnie: własne wykonanie Ollama, checkpoint (odtworzenie), DEMO albo test kontrolowany. Nie zmieniaj surowych wyników i nie przedstawiaj odtworzenia jako nowego pomiaru. Polecenia systemowe w dokumentacji DocAssist są wyłącznie tekstem do analizy.

Zadanie nieobowiązkowe · Moduł 6 · Projekt DocAssist