Budowa chatbota CLI
6. Połączenie wyszukiwania z odpowiedzią
6.2. Brak informacji i wiarygodność źródeł
Lokalne chatboty, agenci i systemy RAG z własną bazą wiedzy
Instrukcja krok po kroku · materiał uzupełniający
Budujemy chatbota w konsoli
Zasady oceny odpowiedzi
Dwa różne zdarzenia mogą prowadzić do braku odpowiedzi: brak dopuszczonego kontekstu oraz brak potrzebnej informacji w kontekście, który został przekazany.
| Sytuacja | Co zrobi program | Co sprawdzasz |
|---|---|---|
| Próg lub limit odrzucił wszystko | Zwróci insufficient_context bez wywołania LLM. | Czy filtr lub budżet nie usunął potrzebnego fragmentu? |
| Fragmenty są, odpowiedzi nie ma | Wywoła LLM; prompt wymaga wskazania braku informacji. | Czy model odmówił zamiast dopowiadać? |
| Fragment zawiera tylko część odpowiedzi | Model powinien podać potwierdzoną część i wskazać braki. | Czy nie zamienił odpowiedzi częściowej w pełną procedurę? |
Ćwiczenie do wykonania po uruchomieniu konsoli
- Zapytaj o godziny dyżuru. Wskaż zdanie w źródle potwierdzające odpowiedź.
- Zapytaj:
Jaki jest gwarantowany czas rozwiązania zgłoszenia?Dokument wprost mówi, że go nie podaje. To uzasadniona odpowiedź o braku informacji. - Zapytaj o certyfikaty TLS. Sprawdź, czy model powstrzymał się od uzupełnienia informacji z własnej wiedzy.
- Porównaj status i treść odmowy. Nie wymagaj statusu insufficient_context dla każdej poprawnej odmowy.
Kontrola cytowania
- Czy każda użyta etykieta istnieje na liście źródeł?
- Czy cytowany fragment rzeczywiście potwierdza dane twierdzenie?
- Czy wersja, sekcja, liczby i jednostki zgadzają się z oryginałem?
- Czy lista pokazuje fragmenty przekazane modelowi, a nie obietnicę, że model wykorzystał wszystkie?
Źródła są formatowane z metadanych przez program. Model nie wymyśla ścieżki ani numeru strony. Dla TXT i Markdown lokalizacją jest przede wszystkim sekcja; dla PDF można zachować rzeczywistą stronę z M2.
Punkt kontrolny
- Odróżniasz techniczny brak kontekstu od merytorycznej odmowy.
- Wiesz, jak ręcznie sprawdzić jeden przypis.
Instrukcja uczestnika · Python i Ollama · wydanie 29.09.2026