Podręcznik uczestnika z objaśnieniami, przykładami i ćwiczeniami do samodzielnej nauki do Modułu 2

10. Słownik pojęć

Pojęcia są uporządkowane według przebiegu pracy. Definicje odnoszą się do sposobu użycia terminów w tym module. Słownik można czytać niezależnie lub wykorzystać do powtórki po ćwiczeniach.

Źródła i odczyt

Pojęcie	Znaczenie w Module 2
Baza wiedzy	Uporządkowany zbiór treści przeznaczonych do określonego zastosowania. Na tym etapie ma postać tekstów, fragmentów, metadanych i ocen.
Korpus	Wybrany zestaw dokumentów źródłowych używany w procesie przygotowania danych.
Zakres bazy	Opis odbiorców, obsługiwanych pytań, źródeł i wyłączeń.
Inwentarz źródeł	Rejestr dokumentów z pochodzeniem, wersją, statusem i decyzją o użyciu. Może zawierać także źródła pominięte.
Wersja dokumentu	Oznaczenie wydania treści źródłowej; nie jest wersją modelu.
Status dokumentu	Informacja o stanie dokumentu, np. active, archived lub draft.
Ekstrakcja	Wyodrębnianie tekstu i jego struktury z pliku. Poprawne wykonanie programu nie gwarantuje kompletności wyniku.
OCR	Rozpoznawanie tekstu z obrazu. Wynik może zawierać pomyłki i wymaga porównania z obrazem źródłowym.
Tekst surowy	Wynik odczytu przed czyszczeniem, przechowywany jako punkt odniesienia.
Rekord odczytu	Jednostka zapisana po ekstrakcji, np. jedna strona PDF lub cały plik TXT w tym zestawie.

Czyszczenie i fragmentacja

Pojęcie	Znaczenie w Module 2
Normalizacja	Ujednolicanie reprezentacji tekstu według jawnych reguł, z zachowaniem znaczenia.
Unicode NFC	Forma normalizacji zapisu znaków; nie usuwa polskich liter ani nie poprawia treści merytorycznej.
Szum	Elementy nieprzydatne dla celu bazy, np. rozpoznana stopka techniczna. Ocenę trzeba odnieść do kontekstu.
Tekst oczyszczony	Wynik kontrolowanych zmian, zachowujący treść źródła i powiązanie z tekstem surowym.
Rejestr operacji	Zapis zmian, ich przyczyn i sposobu kontroli.
Fragment / chunk	Jednostka tekstu przygotowana do dalszego wyszukiwania i budowania kontekstu.
Fragmentacja / chunking	Podział tekstu według ustalonej strategii, np. znaków, akapitów lub sekcji.
Chunk size	Parametr wielkości fragmentu. W porównywanych ustawieniach M2 jest wyrażany w znakach.
Overlap	Powtórzony odcinek na styku sąsiednich fragmentów. Pomaga zachować ciągłość, ale nie gwarantuje pełnego kontekstu.
Token	Jednostka przetwarzania tekstu przez model, zależna od tokenizera. Nie jest równoznaczna ze znakiem ani zawsze ze słowem.

Pochodzenie i jakość

Pojęcie	Znaczenie w Module 2
Metadane	Dane opisujące pochodzenie, lokalizację, parametry przygotowania i ocenę fragmentu.
Lokalizator	Informacja pozwalająca odszukać treść, np. strona PDF i sekcja; zakres znaków odnosi się do wskazanego rekordu tekstu.
document_id / record_id	Identyfikatory odpowiednio dokumentu oraz jednostki powstałej przy odczycie.
chunk_id	Identyfikator fragmentu, zachowywany przy filtrowaniu istniejącego zbioru.
vector_index	Kolejny numer rekordu w danym zbiorze; w M2 nie oznacza utworzonego embeddingu.
null	Jawny brak wartości w JSON. Odpowiednik None w Pythonie; różni się od napisu „null”.
JSON / JSONL	Formaty zapisu danych: JSON opisuje jeden dokument danych, a JSONL zapisuje osobny obiekt JSON w każdym wierszu w przyjętym tu schemacie.
Walidacja	Sprawdzanie zgodności danych z regułami, np. pól, typów, identyfikatorów i zakresów.
qa_status	Ocena fragmentu: accepted, review lub rejected. Nie zastępuje statusu dokumentu.
Pokrycie pytania	Ocena, czy źródła i przyjęte fragmenty zawierają informację potrzebną do odpowiedzi. Nie jest wynikiem pomiaru retrievera.
GO / NO-GO	Uzasadniona decyzja o dopuszczeniu do określonego następnego etapu lub o konieczności poprawy.
RAG	Podejście łączące wyszukiwanie treści ze wspomaganym nią generowaniem odpowiedzi. M2 przygotowuje jego dane wejściowe.
Embedding	Numeryczna reprezentacja treści, wykorzystywana m.in. do porównywania podobieństwa; nie tworzymy jej w tym module.
Retriever	Element przyszłego systemu wybierający fragmenty dla pytania. Jego skuteczność trzeba sprawdzić w osobnym eksperymencie.

Przygotowanie dokumentów i bazy wiedzy
ENHANCER+ · Politechnika Warszawska · materiał do samodzielnej nauki offline