Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 1
2. Jak działa zwykły czat z modelem językowym
Gdy wpisujesz pytanie do czatu, aplikacja przygotowuje wejście dla modelu i wyświetla wygenerowaną odpowiedź. Model językowy (LLM) tworzy tekst przez kolejne przewidywania tokenów.
Model wykorzystuje wzorce utrwalone podczas trenowania oraz treść aktualnie otrzymanego wejścia. Token jest jednostką reprezentacji tekstu: może odpowiadać części słowa, całemu słowu lub znakowi. Nie należy utożsamiać liczby tokenów z liczbą słów.
Przewidywanie kolejnych tokenów pozwala tworzyć użyteczne wyjaśnienia, podsumowania i propozycje. Sam ten mechanizm nie sprawdza jednak automatycznie zgodności wypowiedzi z Twoją lokalną instrukcją. Model może napisać przekonującą procedurę, mimo że nie otrzymał dokumentu, w którym ta procedura została określona.
Model i aplikacja
Model oraz interfejs czatu pełnią różne role. Model przetwarza dostarczone wejście. Aplikacja może dodatkowo odczytywać pliki, wybierać fragmenty historii, wyszukiwać informacje lub korzystać z narzędzi. Dlatego stwierdzenie „czat ma dostęp do dokumentów” wymaga ustalenia, jaka funkcja aplikacji ten dostęp zapewnia i co faktycznie przekazuje modelowi.
| Element | Rola w rozmowie | Przykład |
|---|---|---|
| Model | Generuje odpowiedź z otrzymanego wejścia | Lokalny LLM |
| Prompt | Określa zadanie i sposób odpowiedzi | Wyjaśnij procedurę w trzech krokach |
| Kontekst | Dostarcza treść potrzebną do zadania | Fragment instrukcji DocAssist |
| Historia | Zawiera wcześniejsze wiadomości przekazane modelowi | Poprzednie pytanie i odpowiedź |
| Odpowiedź | Jest wynikiem generowania wymagającym oceny | Propozycja postępowania |
Co model rzeczywiście otrzymał
Załóżmy, że plik instrukcja.txt leży w katalogu na Twoim dysku. Wpisujesz do zwykłego czatu: „Co zrobić po zmianie konfiguracji DocAssist?”. Sama obecność pliku na komputerze nie włącza jego treści do rozmowy. Jeżeli nie wkleisz fragmentu ani aplikacja go nie odczyta i nie przekaże, model nie ma tego źródła w aktualnym wejściu.
Także zdanie „plik nazywa się instrukcja.txt” przekazuje tylko nazwę. Nie mówi, jaka jest treść pliku, wersja instrukcji ani warunki procedury. Dobrą praktyką jest osobne zapisanie pytania oraz materiału, który rzeczywiście trafił do modelu.
Okno kontekstowe i historia
Okno kontekstowe określa, ile tokenów może obejmować pojedyncze przetwarzanie; sposób podziału limitu między wejście i odpowiedź zależy od modelu oraz aplikacji. Instrukcje, historia rozmowy i fragmenty dokumentów konkurują o ograniczone miejsce. Długa rozmowa nie oznacza więc, że cała jej treść jest nadal dostępna modelowi.
Jeżeli porównujesz dwa warianty pytania, zaczynaj od nowej rozmowy. W przeciwnym razie drugi wariant może korzystać z fragmentu przekazanego wcześniej — otrzymasz pozornie dobrą odpowiedź „bez dokumentu”, chociaż dokument pozostaje w historii. Dla oceny liczy się kompletne wejście, a nie tylko ostatnia widoczna wiadomość.
Prompt, który można ocenić
Ogólna prośba „Opisz DocAssist” pozostawia szerokie pole odpowiedzi. Lepszy prompt określa zadanie, podstawę odpowiedzi, oczekiwany format i zachowanie przy braku danych — tak, by później można było sprawdzić wykonanie polecenia.
Zadanie: wyjaśnij, co użytkownik powinien sprawdzić po zmianie konfiguracji DocAssist. Podstawa: wyłącznie przekazany fragment instrukcji. Format: kroki, warunki wykonania i wskazanie źródła. Jeśli fragment nie wystarcza, wskaż brakującą informację.
Bez dodania fragmentu powyższy prompt nadal nie dostarcza wiedzy o DocAssist. Instrukcja sposobu pracy nie zastępuje danych potrzebnych do wykonania zadania.
Rozważ sytuację: otwierasz nowy czat bez funkcji odczytu plików. Wpisujesz „W katalogu mam instrukcja.txt. Jak ponownie uruchomić DocAssist?”. Model odpowiada „Uruchom ponownie usługę i sprawdź jej stan”.
- Wypisz informacje, które rzeczywiście otrzymał model.
- Wskaż dwie informacje, których model nie otrzymał.
- Wyjaśnij, dlaczego sensownie brzmiąca odpowiedź nie dowodzi odczytania pliku.
- Dopisz do promptu trzy wymagania ułatwiające późniejszą weryfikację.