Słownik opanowanych pojęć
Wykład 1 - Modele neuronów
Model neuronu – matematyczny opis przetwarzania sygnałów wzorujących się na procesach neuronowych w organizmach żywych.
Model McCullocha-Pittsa – model neuronu stosujący skokową funkcję aktywacji.
Model sigmoidalny – model neuronu stosujący sigmoidalną funkcję aktywacji
Model radialny – model neuronu stosujący jako aktywację funkcję gaussowską.
Model Hebba – model neuronu w którym zmiana wagi neuronu odbywa się proporcjonalnie do iloczynu jego sygnału wejściowego oraz wyjściowego.
ReLU – funkcja aktywacji odcinkowo-liniowa opisana wzorem y(x)=x dla x>0 i zero w przeciwnym przypadku.
Uczenie z nauczycielem – proces adaptacji parametrów sieci wykorzystujący parę danych (x,d), gdzie x reprezentuje sygnały wejściowe, a d wartość zadaną na wyjściu.
Uczenie bez nauczyciela – proces adaptacji parametrów sieci przy znajomości jedynie danych wejściowych x (bez wartości zadanej na wyjściu).
Uczenie ze wzmocnieniem – sposób adaptacji parametrów sieci wykorzystujący interakcje agenta ze środowiskiem, ukierunkowaną na zmaksymalizowanie zwracanej nagrody.
Sztuczne sieci neuronowe – układ połączeń neuronów między sobą wzorujący się na sposobie przetwarzania danych w organizmach żywych.
Moment rozpędowy – poprawka w uczeniu metodą największego spadku uwzględniająca ostatnią zmianę parametrów.
Uczenie ze współzawodnictwem – metoda adaptacji parametrów neuronów współzawodniczących ze sobą pod względem odległości do aktualnego wektora wejściowego x.
Reguła uczenia Oji – poprawiona przez Oję reguła Hebba w której sygnał wejściowy jest modyfikowany przez sygnał wsteczny, pochodzący od sygnału wyjściowego neuronu.
Wykład 2 - Sieć perceptronu wielowarstwowego MLP
Sieć neuronowa MLP – sieć wielowarstwowa bez sprzężenia zwrotnego (jednokierunkowa) stosująca sigmoidalną funkcję aktywacji.
Sieć autoasocjacyjna – sieć trenowana z nauczycielem, w którym wektor zadany na wyjściu jest tożsamy z wektorem wejściowym.
Sieć heteroasocjacyjna – sieć trenowana z nauczycielem, w którym wektor zadany na wyjściu jest różny od wektora wejściowego.
Polaryzacja neuronu – dodatkowy (poza wektorem sygnałów wejściowych) sygnał jednostkowy neuronu.
Funkcja celu – funkcja definiująca minimalizowany błąd sieci na danych uczących (zwana również funkcją kosztu lub błędu).
Uczenie on-line – sposób uczenia sieci, w którym adaptacja parametrów odbywa się natychmiast po zaprezentowaniu pojedynczej danej uczącej.
Uczenie off-line – sposób uczenia sieci, w którym adaptacja parametrów odbywa się dopiero po zaprezentowaniu całego zbioru danych uczących.
Algorytm propagacji wstecznej – sposób generacji gradientu poprzez analizę przepływu sygnałów w sieci oryginalnej i sieci o odwróconym kierunku przepływu sygnałów, zasilanej sygnałem błędu na wyjściu.
Graf sieci – sposób przedstawienia struktury sieci neuronowej przy zastosowaniu symboliki grafu przepływu sygnałów.
Graf dołączony sieci – graf sieci odpowiadający przeciwnemu kierunkowi przepływu sygnałów.
Wektor kierunkowy minimalizacji – wektor wyznaczający kierunek minimalizacji wartości funkcji celu w przestrzeni parametrów.
Gradient – wektor reprezentujący pochodną funkcji celu względem wszystkich parametrów sieci.
Hesjan – macierz drugich pochodnych funkcji celu względem wszystkich parametrów.
Współczynnik uczenia – wielkość określająca krok w kierunku wyznaczonym przez wektor kierunkowy minimalizacji.
Metoda największego spadku – algorytm uczący sieci w którym wektor kierunkowy minimalizacji jest równy ujemnemu gradientowi.
Metoda największego spadku z momentem rozpędowym – metoda największego spadku zmodyfikowana o poprawkę uwzględniającą ostatnią zmianę parametrów.
Algorytm BFGS – algorytm pseudo-newtonowski zmiennej metryki aproksymujący hesjan na podstawie ostatnich zmian wartości adaptowanych parametrów sieci i gradientu.
Algorytm Levenberga-Marquardta – algorytm pseudo-newtonowski stanowiący modyfikację metody Gaussa-Newtona, polegający na wprowadzeniu poprawki gwarantującej dodatnią określoność hesjanu.
Algorytm gradientów sprzężonych – metoda wyznaczania wektora kierunkowego minimalizacji, w której to kierunek poszukiwań jest ortogonalny oraz sprzężony ze wszystkimi poprzednimi kierunkami.
Algorytm RPROP – metoda heurystyczna uczenia sieci, w której przy zmianie parametrów uwzględnia się jedynie znak składowej gradientu, ignorując jej wartość.
Macierz dodatnio określona - macierz której wszystkie wartości własne są dodatnie.
Macierz nieujemnie określona - macierz której wszystkie wartości własne są dodatnie lub zerowe.
Macierz ujemnie określona - macierz której wszystkie wartości własne są ujemne.
Inicjalizacja parametrów – nadanie wartości startowych parametrom sieci (zwykle losowe z określonego zakresu).
Program MLP.m – program uczenia i testowania sieci w Matlabie zaimplementowany w formie GUI.
Wykład 3 - Zdolności generalizacyjne sieci neuronowych
Zdolność generalizacji sieci - umiejętność generowania właściwej odpowiedzi sieci przy określonym pobudzeniu nie biorącym udziału w procesie uczenia.
Obciążenie – wielkość wyrażająca niezdolność sieci do dokładnej aproksymacji funkcji zadanej uważana za błąd aproksymacji (w praktyce utożsamiana jest z błędem uczenia, tzw. bias).
Wariancja – wielkość wyrażająca nieadekwatność informacji zawartej w zbiorze danych uczących w stosunku do rzeczywistej funkcji zadanej na wyjściu i uważana za błąd estymacji (w praktyce za miarę wariancji przyjmuje się błąd sieci na danych testujących).
VCdim – miara Vapnika-Czerwonenkisa związana ze złożonością sieci określająca zdolność do realizacji funkcji klasyfikacyjnej wzorców.
Błąd uczenia – sumaryczny błąd sieci na danych uczących.
Błąd walidacji – sumaryczny błąd sieci na danych walidacyjnych wyselekcjonowanych ze zbioru uczącego.
Błąd testowania – sumaryczny błąd sieci na danych testujących nie biorących udziału w uczeniu sieci.
Regularyzacja sieci – proces modyfikujący strukturę sieci i definicję funkcji celu ukierunkowany na polepszenie zdolności generalizacyjnych sieci.
Zespół sieci – zbiór równolegle działających sieci realizujących to samo zadanie generujący ostateczny wynik poprzez fuzję (integrację) decyzji poszczególnych składników zespołu.
Przeuczenie sieci – stan w którym ze względu na zbyt rozbudowaną strukturę sieciową błąd testowania rośnie wraz z przedłużającym się procesem uczenia (błąd uczenia w dalszym ciągu malejący).
Niedouczenie sieci – stan sieci o zbyt małej licznie parametrów, nieadekwatny do złożoności zadania, charakteryzujący się zbyt dużym błędem zarówno uczenia jak i testowania/walidacji.
Walidacja krzyżowa – metoda uczenia i testowania służąca do obiektywnej oceny jakości działania sieci neuronowej.
Technika ,,leave one out" - technika walidacji krzyżowej, w której uczenie przeprowadza się zamieniając za każdym razem tylko jedną próbkę uczącą z testującą.
Regularyzacja metodą funkcji kary – sposób modyfikacji minimalizowanej funkcji celu poprzez dodanie składników uzależnionych od wartości parametrów sieci. Wagi o najmniejszej wartości absolutnej podlegają obcięciu.
Regularyzacja wrażliwościowa - sposób poprawy generalizacji poprzez obcięcie wag najmniej wpływających na wartość funkcji celu.
Selekcja cech – ocena jakości cechy w rozwiązaniu problemu klasyfikacji lub regresji, połączona z wyborem określonej liczby cech najlepszych.
Deskryptory numeryczne – matematyczne wielkości opisujące określone cechy procesu. Po selekcji deskryptory stają się cechami diagnostycznymi procesu.
Transformacja PCA – liniowa transformacja wektorowa (ang. Principal Component Analysis) używana do redukcji wymiaru danych według składników głównych.
Transformacja LDA – transformacja Fishera (ang. Linear Discriminant Analysis) do redukcji wymiaru danych z uwzględnieniem przynależności klasowej.
Bagging – technika losowego wyboru danych z pełnego dostępnego zbioru, używana w tworzeniu zespołu.
Głosowanie większościowe – technika ustalania zwycięzcy w zespole klasyfikatorów.
Metoda dyskryminacyjna Fishera – metoda selekcji cech diagnostycznych w klasyfikatorze dwuklasowym z uwzględnieniem wartości średnich i wariancji danych obu klas.