M3. Embeddingi i wyszukiwanie semantyczne.
Przegląd sekcji
-
W module 3 nauczysz się, jak reprezentować fragmenty tekstu w postaci embeddingów i wykorzystywać je do wyszukiwania semantycznego. Utworzysz embeddingi fragmentów dokumentów oraz pytań użytkownika, a następnie porównasz je za pomocą podobieństwa kosinusowego i wybierzesz najlepiej dopasowane wyniki z wykorzystaniem mechanizmu top-k. Zbudujesz prosty lokalny indeks semantyczny, zachowując powiązanie między wektorem, treścią fragmentu i jego metadanymi źródłowymi. Sprawdzisz także jakość wyszukiwania na przygotowanym zestawie pytań i przeanalizujesz przypadki, w których system zwraca fragmenty podobne tematycznie, ale nieprzydatne do odpowiedzi. Efektem modułu będzie przetestowany mechanizm wyszukiwania semantycznego gotowy do wykorzystania w budowanym w kolejnym module systemie RAG.