Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 4

Porównaj własne rozwiązania z poniższym omówieniem. Sformułowania mogą się różnić; istotna jest zgodność rozumowania z danymi. Nie poprawiaj pierwotnej odpowiedzi bez zaznaczenia, czego nauczyło Cię porównanie.

Ćwiczenie 1. Przepływ i miejsce błędu

A wymaga sprawdzenia spójności zapisanego indeksu przed uruchomieniem dalszych etapów. Nie należy zmieniać sumy kontrolnej, aby ukryć różnicę; trzeba przywrócić lub odtworzyć właściwy zestaw plików. B wskazuje przede wszystkim retrieval i dobór kontekstu. C dotyczy generacji, skoro potrzebne informacje znalazły się w prompcie. D dotyczy mapowania kontekstu, etykiet i źródeł.

Kolejność części danych: pytanie, embedding pytania, ranking, tekst promptu, odpowiedź. Lista źródeł powinna powstać z tej samej listy context_results co tekst kontekstu; może zostać przygotowana przed generacją i dołączona do końcowego wyniku. Nie wolno rekonstruować jej z nazw wymyślonych w odpowiedzi modelu.

Jeżeli z trzech kandydatów zostały dwa, model widzi te dwa fragmenty w prompcie, nie automatycznie wszystkie 10 z indeksu. B pokazuje brak w wybranym wejściu mimo obecności informacji w korpusie. Przyczyny należy szukać przed generacją.

Ćwiczenie 2. Wejście i diagnostyka

P1 jest ogólną poradą bez lokalnej podstawy. Nie potwierdza odczytu dokumentacji. P2 spełnia żądanie dwóch punktów, ale również nie ma źródła. Restart całego systemu może być inną operacją niż restart konkretnej usługi; przy braku dokumentu nie można uznać go za potwierdzoną procedurę DocAssist.

P3 urywa się przed zakończeniem opisu, a length wskazuje ograniczenie generacji. Zachowujesz ją jako wynik niepełny. Ewentualne powtórzenie z większym limitem jest nową próbą; dla porównania powinno obejmować cały porównywany zestaw, przy tych samych pozostałych warunkach.

Przy porównaniu temperatur zachowaj pytanie, pełne wiadomości i kontekst, model wraz z digestem oraz pozostałe opcje generacji. Zapisz temperaturę, treść odpowiedzi, sposób zakończenia i identyfikator próby. Stały seed można również zachować. Jedna para odpowiedzi nie pozwala oszacować zmienności.

4.2 s opisuje pierwotne wywołanie. 0.01 s dotyczy odtworzenia. Nie jest dowodem generowania tej odpowiedzi przez model w 0.01 s ani poprawy jego wydajności. Dziesięć odtworzeń tego rekordu nie zwiększa liczby niezależnych generacji.

Ćwiczenie 3. Wspólna lista i prompt

Po usunięciu duplikatu oraz pustego wpisu pozostają [F2, F1]. S1 oznacza kopię konfiguracji, a S2 restart i kontrolę. W poprawnym prompcie należy podać pytanie, oba pełne fragmenty, regułę odpowiedzi wyłącznie z nich, zachowanie warunków, wskazywanie braków i etykiety przy twierdzeniach.

Usuwanie wpisów z jednej listy po nadaniu numerów może sprawić, że S2 w odpowiedzi i S2 w prezentowanej liście oznaczają różne teksty. Dlatego przygotowujesz jedną listę przed budową obu reprezentacji. W porównaniu promptów utrzymujesz pytanie, kontekst z jego kolejnością, model i parametry generacji; zmieniasz wyłącznie instrukcję określoną przez prompt_version.

Ćwiczenie 4. Próg i status

Przy samym F1 twierdzenie o kopii przed edycją nie ma podstaw w bieżącym kontekście, mimo że taka informacja istnieje w F2. Odpowiedź pomija sprawdzenie stanu i wynik active; samo „uruchom usługę” jest również mniej precyzyjne niż pokazany restart. Poprawna ocena wskazuje zarówno dopowiedzenie, jak i brak.

Odmowa w pytaniu o TLS ma status answered, ponieważ model zwrócił tekst. Jej treść jest zgodna z ograniczeniem F1–F2. Dla pustego rankingu reason=no_results, a dla jedynego nieużytecznego rekordu z pustym tekstem, przy braku odrzucenia progiem, reason=no_usable_results. Są to inne przyczyny niż błąd usługi.

Ćwiczenie 5. Etykieta i dowód

F3 i F4 mają różne treści i identyfikatory; wspólny numer strony nie czyni ich jednym fragmentem. Sam walidator etykiet wykrywa w tym zestawie T3. T2, T4 i T5 wymagają kontroli znaczenia. Naprawa T4 przez dowolną zmianę numeru etykiety nie wystarczy, ponieważ żaden dostępny fragment nie zawiera tej informacji.

Ćwiczenie 6. Ocena A B C D

Poprawa D powinna obejmować kontrolę wersji i statusu dokumentu przed przekazaniem do modelu oraz wybór zatwierdzonych F1–F2. Nie wystarczy zwiększyć top_k, jeżeli system nadal dopuszcza nieaktualną podstawę. Trzeba również rozstrzygnąć ewentualne sprzeczności źródeł, a nie zakładać, że samo pole obsolete zostanie poprawnie zinterpretowane.

Przy top_k=1 bez progu ranking z R4 daje tylko F2. Znana jest kopia i reakcja na awarię, lecz brakuje zwykłego restartu i testu po zmianie. Przy top_k=3 dochodzą F1 i F3. To różnica w dostępności podstaw odpowiedzi, nie pewność, że generator wykorzysta je poprawnie.

Przykładowy plan porównania promptów: ustalić jedno pytanie, kontekst [F2, F1], model z digestem i identyczne opcje. Zmienić wyłącznie prompt_version. Zachować pełne odpowiedzi, a następnie ocenić pokrycie pytania, zgodność warunków, uzasadnione braki oraz cytowania adekwatnie do instrukcji. Wersja minimalna nie zawiera takiego samego żądania etykiet jak rag_v1; rozróżnij wykonanie instrukcji od wygody weryfikacji.