M2. Przygotowanie dokumentów i bazy wiedzy
Przegląd sekcji
-
W module 2 nauczysz się przygotowywać dokumenty do wykorzystania jako lokalna baza wiedzy w systemie RAG. Będziesz pracować z różnymi rodzajami plików, odczytywać ich treść, usuwać elementy niepotrzebne oraz porządkować tekst bez utraty ważnych informacji. Poznasz sposoby dzielenia dokumentów na fragmenty i sprawdzisz, jak wielkość fragmentu oraz sposób podziału wpływają na zachowanie kontekstu. Nauczysz się także uzupełniać fragmenty o metadane pozwalające zachować związek z dokumentem źródłowym i później wskazać podstawę odpowiedzi. Efektem pracy będzie uporządkowany zbiór fragmentów dokumentów z metadanymi, gotowy do wykorzystania podczas tworzenia embeddingów i wyszukiwania semantycznego w kolejnym module.