Podręcznik

Słownik opanowanych pojęć

Wykład 3

Zdolność generalizacji sieci - umiejętność generowania właściwej odpowiedzi sieci przy określonym pobudzeniu nie biorącym udziału w procesie uczenia.

Obciążenie – wielkość wyrażająca niezdolność sieci do dokładnej aproksymacji funkcji zadanej uważana za błąd aproksymacji (w praktyce utożsamiana jest z błędem uczenia, tzw. bias).

Wariancja – wielkość wyrażająca nieadekwatność informacji zawartej w zbiorze danych uczących w stosunku do rzeczywistej funkcji zadanej na wyjściu i uważana za błąd estymacji (w praktyce za miarę wariancji przyjmuje się błąd sieci na danych testujących).

VCdim – miara Vapnika-Czerwonenkisa związana ze złożonością sieci określająca zdolność do realizacji funkcji klasyfikacyjnej wzorców.

Błąd uczenia – sumaryczny błąd sieci na danych uczących.

Błąd walidacji – sumaryczny błąd sieci na danych walidacyjnych wyselekcjonowanych ze zbioru uczącego.

Błąd testowania – sumaryczny błąd sieci na danych testujących nie biorących udziału w uczeniu sieci.

Regularyzacja sieci – proces modyfikujący strukturę sieci i definicję funkcji celu ukierunkowany na polepszenie zdolności generalizacyjnych sieci.

Zespół sieci – zbiór równolegle działających sieci realizujących to samo zadanie i generujący ostateczny wynik poprzez fuzję (integrację) decyzji poszczególnych składników zespołu.

Przeuczenie sieci – stan w którym ze względu na zbyt rozbudowaną strukturę sieciową błąd testowania rośnie wraz z przedłużającym się procesem uczenia (błąd uczenia w dalszym ciągu malejący).

Niedouczenie sieci – stan sieci o zbyt małej licznie parametrów, nieadekwatny do złożoności zadania, charakteryzujący się zbyt dużym błędem zarówno uczenia jak i testowania/walidacji.

Walidacja krzyżowa – metoda uczenia i testowania służąca do obiektywnej oceny jakości działania sieci neuronowej.

Technika ,,leave one out" - technika walidacji krzyżowej, w której uczenie przeprowadza się zamieniając za każdym razem tylko jedną próbkę uczącą z testującą.

Regularyzacja metodą funkcji kary – sposób modyfikacji minimalizowanej funkcji celu poprzez dodanie składników uzależnionych od wartości parametrów sieci. Wagi o najmniejszej wartości absolutnej podlegają obcięciu.

Regularyzacja wrażliwościowa - sposób poprawy generalizacji poprzez obcięcie wag najmniej wpływających na wartość funkcji celu.

Selekcja cech – ocena jakości cechy w rozwiązaniu problemu klasyfikacji lub regresji, połączona z wyborem określonej liczby cech najlepszych.

Deskryptory numeryczne – matematyczne wielkości opisujące określone cechy procesu. Po selekcji deskryptory stają się cechami diagnostycznymi procesu.

Transformacja PCA – liniowa transformacja wektorowa (ang. Principal Component Analysis) używana do redukcji wymiaru danych według składników głównych.

Transformacja LDA – transformacja Fishera (ang. Linear Discriminant Analysis) do redukcji wymiaru danych z uwzględnieniem przynależności klasowej.

Bagging – technika losowego wyboru danych z pełnego dostępnego zbioru, używana w tworzeniu zespołu.

Głosowanie większościowe – technika ustalania zwycięzcy w zespole klasyfikatorów.

Metoda dyskryminacyjna Fishera – metoda selekcji cech diagnostycznych w klasyfikatorze dwuklasowym z uwzględnieniem wartości średnich i wariancji danych obu klas.