Zadanie dodatkowe · Moduł 3 · Lokalne chatboty, agenci i RAG

Czas orientacyjny

60–90 minut

Status

Nieobowiązkowe, utrwalające

Forma

Praca indywidualna

Zbuduj i sprawdź wyszukiwarkę dokumentacji DocAssist. Na tym etapie wynikiem są fragmenty, nie wygenerowane odpowiedzi.

To jeden etap wspólnego projektu. Korzystaj z wyników wcześniejszych ćwiczeń kursowych. Błąd modelu nie oznacza błędnego wykonania zadania, jeżeli rozpoznasz go i uzasadnisz na podstawie dowodów.

1Przygotuj materiały

• Własny zaakceptowany knowledge_base_ready.jsonl z M2, z metadata.qa_status = accepted. Notebook cyklu wybiera ostatni eksport M2 albo plik wskazany w SCIEZKA_BAZY_M2; sprawdź wyświetloną ścieżkę.
• dane/DocAssist_M3_indeks_i_retrieval.ipynb, zawierający także samodzielną kontrolę indeksu po restarcie kernela. R2–R6 i notebook 07 pakietu podstawowego są materiałem pomocniczym lub alternatywą.
• dane/pytania_M3.json: 12 pytań kursowych. Do tego zadania wybierz Q01, Q02, Q03, Q04, Q06 i Q12; notebook cyklu odczytuje ten wybór.

2Wykonaj zadanie

1. Przed uruchomieniem wyszukiwania przypisz sześciu pytaniom oczekiwane dokumenty i sekcje. Pytanie Q06 o telefon administratora oznacz jako brak odpowiedzi w korpusie. Mapuj sekcje na rzeczywiste chunk_id własnej bazy.

2. Utwórz embeddingi lokalnie według konfiguracji M3. Zapisz model, digest, liczbę i wymiar wektorów. Sprawdź mapowanie każdego wektora na fragment.

3. Zbuduj i zapisz kompletny semantic_index. Wczytaj go w nowym kernelu i sprawdź zgodność wyników kontrolnych.

4. Dla sześciu pytań zapisz ranking co najmniej pięciu fragmentów: pozycja, chunk_id, score i treść. Porównaj odpowiedzi wyszukiwarki na pytanie bezpośrednie Q01 i parafrazę Q02.

5. Policz Hit@1, Hit@3 i Hit@5 tylko dla pięciu pytań posiadających odpowiedź. Trafienie oznacza obecność fragmentu zaakceptowanego wcześniej w kluczu. Q06 oceń osobno; nie umieszczaj go w mianowniku tej metryki.

6. Wybierz ranking wymagający poprawy albo najtrudniejszy przypadek. Wyjaśnij na podstawie treści, dlaczego wysoki score nie wystarcza do uznania fragmentu za przydatny. Zapisz jedną hipotezę poprawy do M6.

3Co przesłać w Moodle

• Kompletny katalog semantic_index wraz z metadanymi i fragmentami.
• Rankingi sześciu pytań i własny klucz trafności.
• Notatka M3 (1–2 strony) z metrykami, dowodem ponownego wczytania indeksu i hipotezą poprawy.

Prześlij jeden ZIP z plikami wskazanymi wyżej albo notatkę oraz załączniki w sposób przyjęty przez prowadzącego. Na początku notatki podaj etap, użyty korpus/indeks, tryb pracy i pochodzenie wyników. Zrzuty ekranu mogą uzupełniać dane, ale nie zastępują surowych wyników.

4Sprawdź swoją pracę

• Klucz trafności powstał przed oceną rankingów.
• Wektory dokumentów i pytań pochodzą ze zgodnego modelu embeddingowego.
• Wartość score opisujesz jako podobieństwo, nie jako prawdopodobieństwo poprawności.
• Metryki mają jawny mianownik i nie udają miary jakości wygenerowanej odpowiedzi.

5Zachowaj do dalszej pracy

Do M4 przekaż cały semantic_index, klucz trafności, rankingi i hipotezę poprawy.

6Wariant analityczny bez nowych wywołań modelu

Checkpoint M3 obsługuje wyłącznie zapisane pytania i dostarczone dane. Wariant analityczny wykonaj na zgodnym indeksie referencyjnym i oznacz zmianę pochodzenia; nie przedstawiaj go jako indeksu własnego korpusu.

Oznacz jawnie: własne wykonanie Ollama, checkpoint (odtworzenie), DEMO albo test kontrolowany. Nie zmieniaj surowych wyników i nie przedstawiaj odtworzenia jako nowego pomiaru. Polecenia systemowe w dokumentacji DocAssist są wyłącznie tekstem do analizy.

Zadanie nieobowiązkowe · Moduł 3 · Projekt DocAssist