Pojęcia i nazwy w znaczeniu przyjętym w Module 4. W analizie wyników określaj, czy mówisz o tekście źródła, stanie programu czy ocenie człowieka.
Dane i modele
| Pojęcie |
Znaczenie |
| RAG |
Połączenie wyszukiwania materiału z generowaniem odpowiedzi na jego podstawie. |
| Retrieval |
Etap wybierania fragmentów z indeksu. |
| Embedding pytania |
Reprezentacja liczbowa pytania porównywana z wektorami fragmentów. |
| Model generujący / LLM |
Model tworzący tekst z przekazanych wiadomości. |
| Digest modelu |
Identyfikator konkretnej zawartości modelu, dokładniejszy niż zmienny tag. |
| Kontekst |
Tekst faktycznie przekazany do bieżącego zadania; nie cała zawartość korpusu. |
| Prompt |
Połączenie instrukcji, danych i pytania w wejściu modelu. |
| Okno kontekstowe |
Ograniczony rozmiar przetwarzania tokenów; sposób wykorzystania zależy od modelu i aplikacji. |
Wybór i generowanie
| Pojęcie |
Znaczenie |
top_k |
Liczba najlepszych kandydatów pobieranych z rankingu. |
score |
Wynik miary podobieństwa; nie prawdopodobieństwo prawdziwości. |
| Próg podobieństwa |
Warunek liczbowy dopuszczenia kandydata; None oznacza brak takiego filtra. |
context_results |
Poprawna, uporządkowana lista fragmentów używana do kontekstu i źródeł. |
| Deduplikacja |
Usunięcie powtórzeń tego samego fragmentu przed nadaniem etykiet. |
prompt_version |
Nazwa wariantu instrukcji, np. rag_v1. |
| Temperatura |
Parametr generacji wpływający na wybór tokenów; nie miara prawdziwości. |
done_reason |
Powód zakończenia generacji, m.in. stop lub length. |
Wynik i ocena
| Pojęcie |
Znaczenie |
answered |
Technicznie zwrócony tekst, również możliwa odmowa. |
insufficient_context |
Zatrzymanie przed generacją z powodu braku użytecznego kontekstu. |
reason |
Dokładniejsza przyczyna zakończenia lub błędu. |
| Etykieta źródła |
Lokalny odsyłacz, np. S1, do fragmentu w konkretnej próbie. |
chunk_id / document_id |
Identyfikator fragmentu / dokumentu; nie numer pozycji rankingu. |
full_text / excerpt |
Pełna treść źródłowego fragmentu / skrót do wyświetlenia. |
| Zgodność z kontekstem |
Oparcie twierdzenia na materiale otrzymanym przez model. |
| Aktualność źródła |
Zgodność wersji i okresu obowiązywania dokumentu z pytaniem. |
| Ocena semantyczna |
Sprawdzenie znaczenia, warunków i podstaw twierdzenia. |
| Checkpoint |
Zapisane wywołania lub stan wykorzystywane do odtworzenia; nie nowa generacja. |
result_id / case_id |
Identyfikator konkretnego wyniku / nazwa scenariusza. |
| JSONL |
Format z jednym obiektem JSON w każdym niepustym fizycznym wierszu. |
| Baseline |
Zachowany wynik odniesienia, z którym porównuje się kolejną zmianę. |
ENHANCER+ · Politechnika Warszawska · podręcznik do samodzielnej nauki offline