Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 1
7. Porównanie czatu LLM i systemu z własną wiedzą
Porównanie powinno pokazać, co zmienia dostęp do dokumentu i jak rozpoznajesz jakość odpowiedzi. Samo wrażenie, że drugi tekst „brzmi lepiej”, jest niewystarczające.
Potrzebujesz tego samego pytania, zapisanego wejścia oraz kryteriów ustalonych przed oceną.
Poniższy eksperyment możesz przeprowadzić bez modelu. Otrzymujesz trzy odpowiedzi demonstracyjne przygotowane do analizy. Nie są rzeczywistymi wynikami pomiaru ani dowodem przewagi określonego narzędzia. Twoim zadaniem jest ocenić je względem źródła i warunków wariantu.
Warianty porównania
We wszystkich wariantach pytanie brzmi: „Co należy zrobić po zmianie pliku konfiguracyjnego DocAssist, aby sprawdzić poprawność działania usługi?”. Pełna instrukcja z rozdziału 3 jest wzorcem dla osoby oceniającej. Nie zakładaj, że model otrzymał ją w każdym wariancie.
| Wariant | Wejście dla modelu | Oczekiwane zachowanie |
|---|---|---|
| A | Samo pytanie bez fragmentu dokumentu | Odpowiedź bez udawania znajomości lokalnej procedury |
| B | Pytanie, pełna sekcja 5.2 i reguła odpowiedzi | Konkretna procedura zgodna ze źródłem (5.2) |
| C | Pytanie, sekcja 6.1 i taka sama reguła jak w B | Zgłoszenie braku informacji potrzebnej do odpowiedzi |
Reguła dla B i C: „Odpowiedz wyłącznie na podstawie kontekstu. Podaj kroki i warunki oraz nazwę pliku, wersję i sekcję. Jeżeli fragment nie wystarcza, napisz, jakiej informacji brakuje”.
Wariant A różni się od B zarówno kontekstem, jak i dodatkową instrukcją. To demonstracja całego sposobu pracy, a nie pomiar wyizolowanego wpływu jednego czynnika. Jeżeli chcesz zbadać wyłącznie wpływ fragmentu, utrzymaj identyczną instrukcję, pytanie i ustawienia, a zmień tylko kontekst. Porównanie B z C przy tej samej instrukcji ułatwia ocenę znaczenia trafności kontekstu.
Trzy odpowiedzi do oceny
/etc/docassist/config.yaml wykonaj sudo
systemctl restart docassist-api. Następnie użyj systemctl
is-active docassist-api. Prawidłowy wynik to active. Jeżeli wynik jest inny niż active, wyświetl 50 ostatnich wpisów: journalctl
-u docassist-api -n 50 --no-pager. Źródło: instrukcja.txt, wersja 1.4, sekcja 5.2”./var/lib/docassist przed aktualizacją i okresu jej przechowywania. Nie zawiera procedury sprawdzania stanu usługi po zmianie konfiguracji. Do odpowiedzi potrzebny jest fragment instrukcji opisujący tę procedurę. Źródło: instrukcja.txt, wersja 1.4, sekcja 6.1”.Odpowiedź A uczciwie ujawnia brak dokumentu, lecz jest ogólna — nie przenoś jej automatycznie do instrukcji obsługi. Odpowiedź C nie wykonuje głównego zadania, ale poprawnie wyznacza granicę dostępnej informacji. Dla wariantu z nietrafnym kontekstem zgłoszenie braku danych jest zachowaniem pożądanym.
Kryteria oceny
Oceniaj osobno użyteczność procedury i rzetelność względem dostępnego źródła. W przeciwnym razie poprawne powstrzymanie się od dopowiedzenia danych może zostać niesłusznie uznane za tak samo zły wynik jak zmyślona procedura.
| Kryterium | 0 punktów | 1 punkt | 2 punkty |
|---|---|---|---|
| Zgodność ze źródłem | Błąd lub niepoparte dopowiedzenie | Część zgodna, lecz wymagająca korekty | Całość zgodna z przekazanym źródłem |
| Kompletność procedury | Brak użytecznej procedury | Część kroków lub warunków | Restart, sprawdzenie, active i warunek dziennika |
| Wskazanie źródła | Brak lub błędne źródło | Wskazanie niepełne | Plik, wersja i właściwa sekcja |
| Rozpoznanie braków | Dopowiedzenie mimo brakujących danych | Ogólne zastrzeżenie | Konkretne braki albo brak zastrzeżeń przy pełnych danych |
Jeżeli model nie otrzymał źródła, w pierwszym kryterium wpisz „nie dotyczy”, zamiast udawać pomiar zgodności. Nie sumuj bezrefleksyjnie ocen: C może uzyskać 0 za kompletność procedury i 2 za rozpoznanie braków. Taki profil jest poprawny dla tego wariantu. Ta skala służy analizie odpowiedzi; nie jest regulaminem zaliczenia kursu.
Wykonaj pełną ocenę trzech wariantów według czterech kryteriów.
- Przygotuj tabelę z wariantami A, B i C oraz czterema kryteriami.
- Wpisz ocenę każdego kryterium i jednozdaniowe uzasadnienie.
- Przy B wskaż zdania potwierdzające każdy krok procedury.
- Przy C zapisz, co powinno zmienić się na wejściu, aby możliwa była pełna odpowiedź.
- Sformułuj wniosek o roli kontekstu oraz jedno ograniczenie tego porównania.
Jeżeli powtórzysz eksperyment z lokalnym modelem
Ta część jest rozszerzeniem. Wykonaj ją dopiero wtedy, gdy masz przygotowane lokalne środowisko i pobrany model. Pracuj na kopii materiałów i dla każdego wariantu zaczynaj nową rozmowę, aby poprzedni kontekst nie przenosił się do kolejnej próby.
Zapisz nazwę i wersję modelu, ustawienia generowania, pełny prompt, przekazany fragment oraz niezmienioną odpowiedź. Zanotuj też datę próby i ocenę z uzasadnieniem. Ustawienia i ta sama nazwa modelu pomagają porównywać wyniki, ale nie gwarantują identycznego tekstu na wszystkich komputerach i w każdej implementacji.
Powtórz próby, jeśli chcesz sprawdzić zmienność. Nie wybieraj tylko najlepiej brzmiącej odpowiedzi. Jeden wynik wskazuje, co wydarzyło się w konkretnej próbie; dopiero większy zestaw pytań i kontrolowanych warunków pozwala formułować szersze wnioski o systemie.