Zadanie dodatkowe · Moduł 4 · Lokalne chatboty, agenci i RAG

Czas orientacyjny

60–90 minut

Status

Nieobowiązkowe, utrwalające

Forma

Praca indywidualna

Połącz wyszukiwarkę z modelem i sprawdź, czy odpowiedź pomaga rozwiązać przypadek DA-01 oraz zachowuje warunki procedur.

To jeden etap wspólnego projektu. Korzystaj z wyników wcześniejszych ćwiczeń kursowych. Błąd modelu nie oznacza błędnego wykonania zadania, jeżeli rozpoznasz go i uzasadnisz na podstawie dowodów.

1Przygotuj materiały

• Kompletny semantic_index z M3 i aktualne źródła M2.
• dane/DocAssist_M4_odpowiedzi_RAG.ipynb. Wybierz właściwy indeks przez SCIEZKA_INDEKSU albo sprawdź ostatni eksport wskazany przez notebook. Sześć pytań P01–P06 jest odczytywanych automatycznie.
• dane/pytania_M4_M5.json. Nowe wywołania wymagają trybu Ollama. Jeśli wybierasz alternatywny notebook M4 R6_wlasny_indeks, ustaw w nim INDEX_DIR i listę PYTANIA; przykłady R3–R5 mogą pomóc w porównaniu kontekstów.

2Wykonaj zadanie

1. Wczytaj własny indeks i skonfiguruj RAG na podstawie M4. Zapisz model LLM, model embeddingowy, digesty, wersję promptu, top_k i próg podobieństwa.

2. Zbuduj prompt z pytaniem i fragmentami oznaczonymi lokalnymi etykietami źródeł. Zażądaj odpowiedzi na podstawie dokumentów, zachowania warunków procedury i jawnego komunikatu, gdy informacji brakuje.

3. Uruchom sześć pytań P01–P06: kontrola stanu, procedura po zmianie konfiguracji, postępowanie po nieudanym uruchomieniu połączone z treścią zgłoszenia, godziny dyżuru, eskalacja poza dyżurem oraz TLS.

4. Dla każdego wywołania zachowaj ranking, fragmenty rzeczywiście dopuszczone do kontekstu, prompt, surową odpowiedź, status i źródła. Lista top-k i lista kontekstu mogą się różnić.

5. W odpowiedzi wieloźródłowej P03 sprawdź co najmniej cztery twierdzenia, przypisując każdemu fragment źródła. Oceń osobno kompletność i zgodność ze źródłami.

6. Porównaj dwa warianty dla P03: kontekst z jednej sekcji oraz kontekst obejmujący instrukcję i regulamin. Zachowaj pozostałe ustawienia. Dla TLS rozróżnij tekstową odmowę modelu od zatrzymania generowania przez filtr kontekstu.

3Co przesłać w Moodle

• Uzupełniony notebook i zapis sześciu wywołań oraz porównania dwóch wariantów P03.
• Notatka M4 (1–2 strony): mapa twierdzeń do źródeł, rozpoznane błędy i konfiguracja wybrana do M5.

Prześlij jeden ZIP z plikami wskazanymi wyżej albo notatkę oraz załączniki w sposób przyjęty przez prowadzącego. Na początku notatki podaj etap, użyty korpus/indeks, tryb pracy i pochodzenie wyników. Zrzuty ekranu mogą uzupełniać dane, ale nie zastępują surowych wyników.

4Sprawdź swoją pracę

• Odpowiedź o restarcie zachowuje warunek zmiany konfiguracji, a kontrola stanu nie jest mylona z restartem.
• Odpowiedź o eskalacji uwzględnia awarię całego zespołu poza dyżurem.
• Dla TLS nie dopisujesz procedury spoza korpusu.
• Sama etykieta źródła ani status answered nie zastępują oceny poprawności treści.

5Zachowaj do dalszej pracy

Do M5 zachowaj działający RAG, pełny indeks, konfigurację i przykłady odpowiedzi ze źródłami.

6Wariant analityczny bez nowych wywołań modelu

Odtwórz wyłącznie zgodne wywołania checkpointu M4 i oceń dostępne porównania. Zmieniony prompt, kontekst, pytanie lub własny indeks wymagają nowego wywołania Ollama. Brak pomiaru oznacz jako niewykonany.

Oznacz jawnie: własne wykonanie Ollama, checkpoint (odtworzenie), DEMO albo test kontrolowany. Nie zmieniaj surowych wyników i nie przedstawiaj odtworzenia jako nowego pomiaru. Polecenia systemowe w dokumentacji DocAssist są wyłącznie tekstem do analizy.

Zadanie nieobowiązkowe · Moduł 4 · Projekt DocAssist