Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 4
6. Źródła i weryfikowalność odpowiedzi
Lista źródeł pozwala wrócić do materiału przekazanego modelowi. Nie oznacza jednak, że każde zdanie odpowiedzi rzeczywiście z niego wynika. W tym rozdziale osobno sprawdzisz istnienie etykiety, poprawność wskazanego fragmentu i znaczenie twierdzenia.
1. Dwa fragmenty tej samej strony
F3 i F4 pochodzą z tego samego dokumentu PDF i ze strony 1, lecz mają różne chunk_id. Oto ich pełna treść. W zadaniu poniżej kolejność kontekstu wynosi [F3, F4], więc S1 oznacza F3, a S2 oznacza F4.
DOC-PDF-51aa0fc583-0003
docassist.pdf, wersja 1.4, strona 1.
## Test po zmianie konfiguracji Po zmianie konfiguracji sprawdź uruchomienie usługi i zapisz wynik. Nie usuwaj łącznika w nazwie docassist-api.
DOC-PDF-51aa0fc583-0002
docassist.pdf, wersja 1.4, strona 1.
## Parametry stanowiska Dla tej fikcyjnej aplikacji przyjęto 8 GB RAM i 2 GB wolnego miejsca. Są to dane ćwiczenia, a nie wymagania modeli językowych. Przed instalacją sprawdź dostęp do zatwierdzonego pakietu.
Wartości 8 GB i 2 GB dotyczą fikcyjnej aplikacji opisanej w ćwiczeniu. Nie są wymaganiami sprzętowymi modelu Qwen ani BGE-M3. Ta sama liczba przeniesiona do innego obiektu może stać się błędnym twierdzeniem, mimo poprawnego przepisania cyfr.
2. Co zachowuje aplikacja
| Pole źródła | Dlaczego jest potrzebne |
|---|---|
label |
Łączy [S1] z rekordem źródła w konkretnej próbie. |
chunk_id i document_id |
Rozróżniają fragment i dokument; wspólna strona nie scala ich tożsamości. |
source, title, version, section |
Pozwalają określić plik, dokument, wersję i sekcję. |
page_number, page_start, page_end |
Zachowują lokalizację w źródłowym dokumencie, jeśli występuje. |
full_text i excerpt |
Pełny tekst służy weryfikacji; skrót ułatwia przeglądanie. |
score |
Pomaga analizować retrieval; nie jest oceną prawdziwości cytatu. |
build_sources() tworzy rekordy z metadanych kontekstu. Model nie jest źródłem nazw plików ani numerów stron. format_sources(sources) przygotowuje czytelną prezentację tej listy. Dla TXT bez paginacji zachowujesz sekcję i brak numeru strony; nie zastępujesz go numerem strony niniejszego podręcznika.
3. Kontrola formalna i kontrola treści
validate_source_labels() rozpoznaje odsyłacze w formacie [S1], [S2] i sprawdza ich obecność w liście źródeł. [S99] przy dwóch źródłach jest błędem formalnym. Poprawne [S2] przy zdaniu o procedurze TLS jest natomiast możliwym błędem merytorycznym, którego samo porównanie etykiet nie wykryje.
Kolejna trudność to prawdziwe zdanie z niewłaściwym odsyłaczem. Informacja może istnieć w innym przekazanym fragmencie, ale czytelnik kierowany przez cytat trafia w złe miejsce. Naprawa polega wtedy na zmianie odsyłacza, nie na dowolnym przepisaniu treści. W przypadku twierdzenia niepotwierdzonego trzeba je usunąć lub jawnie opisać brak podstaw.
- Czy etykieta istnieje w źródłach tej próby?
- Czy wskazany fragment rzeczywiście wspiera to zdanie?
- Czy zachowano obiekt, liczbę, negację i warunek?
- Czy dokument jest właściwy dla wersji i czasu, których dotyczy pytanie?
4. Materiał do oceny
Poniższe zdania T1–T5 są demonstracyjne. Źródła tej próby to wyłącznie S1=F3 i S2=F4.
| ID | Zdanie z odsyłaczem |
|---|---|
| T1 | Dla fikcyjnego DocAssist przyjęto 8 GB RAM i 2 GB miejsca [S2]. |
| T2 | Po zmianie konfiguracji trzeba sprawdzić uruchomienie usługi i zapisać wynik [S2]. |
| T3 | Parametry stanowiska opisuje przekazany dokument [S99]. |
| T4 | Certyfikat TLS należy odnawiać co 30 dni [S1]. |
| T5 | Do uruchomienia modelu językowego wystarczą 8 GB RAM i 2 GB miejsca [S2]. |
Ćwiczenie 5. Zweryfikuj cytowania
Dla każdego zdania oddziel istnienie etykiety od zgodności treści.
- Oznacz: etykieta istnieje albo nie istnieje; treść potwierdzona, błędnie przypisana lub niepotwierdzona. Uzasadnij każde rozstrzygnięcie.
- Popraw odsyłacz T2 bez zmiany poprawnej treści.
- Dla T4 i T5 zaproponuj wersję zgodną z dostępnym materiałem albo komunikat o braku informacji.
- Wyjaśnij, dlaczego F3 i F4 zachowują dwa identyfikatory i dwie etykiety, choć pochodzą z tej samej strony.
- Wskaż, które błędy wykryje sam validate_source_labels, a które wymagają czytania.
Czy potrafisz znaleźć konkretny fragment potwierdzający zdanie, zamiast zatrzymać się na prawidłowym numerze etykiety?
Jeżeli pracujesz również na komputerze, wykorzystaj kartę R5 oraz notebook M12_M4_R5_zrodla_odpowiedzi_start.ipynb.
Otwórz kontrola_cytowan.json i porównaj oryginał, osobny test S99 oraz tekst bez cytowania. Nie dodawaj testowego błędu do surowej odpowiedzi. Własną analizę zapisz jako odrębny wynik.