M4. Lokalny RAG i odpowiedzi oparte na źródłach model
Przegląd sekcji
-
W module 4 połączysz mechanizm wyszukiwania semantycznego z lokalnym modelem językowym i zbudujesz pierwszy kompletny prototyp systemu RAG w Pythonie. Nauczysz się tworzyć kontekst z odnalezionych fragmentów dokumentów, przygotowywać prompt zawierający pytanie, instrukcje i źródła oraz przekazywać go do modelu uruchomionego lokalnie przez Ollama. Rozbudujesz rozwiązanie o kontrolę braku wystarczających informacji, ograniczanie odpowiedzi do dostarczonego kontekstu oraz prezentowanie fragmentów źródłowych i metadanych umożliwiających weryfikację odpowiedzi. Porównasz również działanie modelu bez kontekstu, z właściwym kontekstem oraz z kontekstem niepełnym lub błędnym, aby zobaczyć, gdzie mogą powstawać błędy w systemie RAG. Efektem modułu będzie działający lokalny prototyp przyjmujący pytanie użytkownika, wyszukujący odpowiednie fragmenty dokumentów i zwracający odpowiedź wraz z informacjami o źródłach