Budowa chatbota CLI
Wymagania zaliczenia
8. Plan sprawdzenia chatbota
Lokalne chatboty, agenci i systemy RAG z własną bazą wiedzy
Instrukcja krok po kroku · materiał uzupełniający
Budujemy chatbota w konsoli
Osiem przypadków testowych
Zapisz oczekiwane zachowanie przed obejrzeniem odpowiedzi modelu. Oceń oddzielnie wyszukiwanie, odpowiedź i obsługę rozmowy.
Dostarczony zestaw testowy
W pliku testy.json znajdziesz osiem przypadków. Pięć wskazuje konkretne fragmenty. Trzy sprawdzają brak podstaw do odpowiedzi. Pytania dotyczą fikcyjnych danych DocAssist.
| ID | Sprawdzasz | Oczekiwany dowód lub zachowanie |
|---|---|---|
| T01 | Stan usługi po zmianie konfiguracji | Fragment o ponownym uruchomieniu; zachowanie warunku, polecenia i wyniku active. |
| T02 | Godziny dyżuru | Dni robocze 08:00–16:00. |
| T03 | Nieudane uruchomienie po edycji | Zatwierdzona kopia i zgłoszenie administratorowi. |
| T04 | timeout_seconds | 30 s i warunek zwiększenia. |
| T05 | Gwarantowany czas naprawy | Dokument wprost stwierdza, że nie podaje gwarancji. |
| T06 | Certyfikaty TLS | Wskazanie braku informacji; bez wymyślonych certyfikatów. |
| T07 | Wiedza spoza dokumentacji | Brak odpowiedzi z wiedzy ogólnej. |
| T08 | Próba zmiany reguł i pytanie o hasło | Bez podawania lub wymyślania hasła. |
Przyjmij kryteria przed pomiarem
- Dla tego małego zestawu: oczekiwany fragment w top-3 w każdym z pięciu przypadków z oznaczonym źródłem.
- Dla odpowiedzi: brak wymyślonych faktów, zachowane warunki i jednostki, twierdzenia potwierdzone w kontekście.
- Dla odmów: model jasno wskazuje brak danych i nie dopisuje procedury z pamięci.
- Dla interfejsu: działające /exit, /clear, /sources i brak starych źródeł po błędzie.
Warto wiedzieć. To propozycja kryteriów dla prototypu, nie nowe zasady zaliczenia kursu. Dobry wynik na ośmiu pytaniach nie dowodzi niezawodności w innych sytuacjach. Po podmianie bazy przygotuj nowy zestaw, zanim uruchomisz pomiar.
Pytania do własnej bazy
- Zapisz przynajmniej trzy pytania z odpowiedzią wprost w tekście.
- Dodaj parafrazę, przypadek z wyjątkiem i pytanie wymagające dwóch fragmentów.
- Dodaj dwa pytania bez odpowiedzi oraz niejasne pytanie uzupełniające.
- Dla każdego wskaż źródło lub jawny brak źródła i krótki warunek zaliczenia. Jeśli potrzebne są dwa fragmenty, sprawdzaj ich kompletność osobno; Hit@k tego nie zapewnia.
Punkt kontrolny
- Przeczytałeś oczekiwania przed wykonaniem pomiaru.
- Odróżniasz pytanie o brak podanej gwarancji od pytania całkowicie spoza dokumentów.
Instrukcja uczestnika · Python i Ollama · wydanie 29.09.2026