Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 1
3. Ograniczenia modeli językowych
Odpowiedź modelu może być płynna, szczegółowa i uporządkowana, a jednocześnie nie mieć oparcia w źródle. Styl wypowiedzi nie jest miarą jej prawdziwości.
W pracy z dokumentacją potrzebujesz innego pytania: „Z którego fragmentu wynika to twierdzenie i czy fragment dotyczy właściwej wersji systemu?”.
Wiedza utrwalona w parametrach modelu może nie obejmować Twojego dokumentu albo jego najnowszej wersji. Dotyczy to szczególnie procedur lokalnych, regulaminów organizacji i instrukcji przygotowanych wyłącznie na potrzeby kursu. Nawet jeśli model zna podobny produkt, nie daje to podstaw do przenoszenia jego zasad na DocAssist.
Cztery problemy, które warto odróżniać
| Problem | Jak go rozpoznać | Co zrobić |
|---|---|---|
| Niepotwierdzone twierdzenie | Źródło nie zawiera podanej informacji | Oznaczyć brak podstawy |
| Sprzeczność ze źródłem | Dokument mówi coś przeciwnego | Odrzucić lub poprawić twierdzenie |
| Odpowiedź niepełna | Pominięto ważny krok lub warunek | Wskazać konkretny brak |
| Odpowiedź zbyt ogólna | Nie zawiera szczegółów potrzebnych w tym systemie | Poprosić o odpowiedź opartą na źródle |
Halucynacją nazywa się w tym kontekście wygenerowaną treść przedstawioną jak fakt, choć jest zmyślona lub pozbawiona właściwej podstawy. Może nią być wymyślona funkcja, nazwa dokumentu, cytat, data lub procedura. Nie każda słaba odpowiedź jest jednak halucynacją. Zdanie „sprawdź stan usługi” może być zgodne z instrukcją, lecz za mało konkretne, by wykonać zadanie.
Niepotwierdzone twierdzenie nie musi być logicznie fałszywe. Gdy dokument nie podaje godzin dyżurów, poprawny wniosek brzmi „źródło nie określa godzin”, a nie „operator nigdy nie dyżuruje”. Ta różnica chroni przed zamianą braku wiedzy w nową, nieuzasadnioną pewność.
Źródło do analizy: regulamin DocAssist
Poniższe sekcje pochodzą z fikcyjnego pliku. Nie są zasadami zaliczenia rzeczywistego kursu.
R1 Role.
Operator utrzymuje fikcyjny system. Użytkownik zadaje pytania i sprawdza źródła. Samo korzystanie z czatu nie nadaje uprawnień operatora.
R2 Działanie asystenta.
Asystent objaśnia dokumentację i wskazuje źródła. Nie wykonuje poleceń systemowych ani zmian konfiguracji. Brak informacji powinien zostać zgłoszony.
R3 Weryfikacja.
Użytkownik porównuje ważne twierdzenia z konkretną sekcją dokumentu. Obecność nazwy pliku przy odpowiedzi sama nie potwierdza jej poprawności.
R4 Zakres.
Regulamin nie określa godzin dyżurów operatora ani czasu reakcji na zgłoszenie.
Oceń trzy demonstracyjne odpowiedzi. Dla każdej zapisz: ocenę, sekcję źródłową oraz poprawioną wersję. Użyj określeń „potwierdzone”, „sprzeczne” lub „niepotwierdzone”.
O1: „Operator dyżuruje od 8:00 do 16:00 i odpowiada na zgłoszenie w ciągu 15 minut”.
O2: „Każdy użytkownik czatu automatycznie otrzymuje uprawnienia operatora”.
O3: „Asystent objaśnia instrukcję, ale nie wykonuje poleceń systemowych”.
- Podziel O1 na dwa osobne twierdzenia i oceń każde z nich.
- Znajdź fragment rozstrzygający ocenę O2.
- Sprawdź, czy O3 wiernie oddaje zakres działania asystenta.
- Ułóż jednozdaniową odpowiedź na pytanie o godziny dyżurów, bez dopowiadania danych.
Lokalny model a wiarygodność odpowiedzi
Słowo „lokalny” opisuje miejsce wykonywania obliczeń. Nie oznacza automatycznie, że model otrzymał wszystkie pliki z komputera, zna aktualne procedury albo nigdy się nie myli. Można uruchomić lokalny model i nadal zadawać mu pytania bez potrzebnego kontekstu.
Offline oznacza w tym materiale pracę bez połączenia z Internetem. Samodzielne czytanie i ćwiczenia spełniają ten warunek od razu. Uruchomienie modelu offline wymaga wcześniejszego przygotowania aplikacji i plików modelu — to osobna czynność techniczna, nie jest warunkiem zrozumienia treści tego modułu.