Podręcznik

Słownik opanowanych pojęć

Wykład 2

Sieć neuronowa MLP – sieć wielowarstwowa bez sprzężenia zwrotnego (jednokierunkowa) stosująca sigmoidalną funkcję aktywacji.

Sieć autoasocjacyjna – sieć trenowana z nauczycielem, w którym wektor zadany na wyjściu jest tożsamy z wektorem wejściowym.

Sieć heteroasocjacyjna – sieć trenowana z nauczycielem, w którym wektor zadany na wyjściu jest różny od wektora wejściowego.

Polaryzacja neuronu – dodatkowy (poza wektorem sygnałów wejściowych) sygnał jednostkowy neuronu.

Funkcja celu – funkcja definiująca minimalizowany błąd sieci na danych uczących (zwana również funkcją kosztu lub błędu).

Uczenie on-line – sposób uczenia sieci, w którym adaptacja parametrów odbywa się natychmiast po zaprezentowaniu pojedynczej danej uczącej.

Uczenie off-line – sposób uczenia sieci, w którym adaptacja parametrów odbywa się dopiero po zaprezentowaniu całego zbioru danych uczących.

Algorytm propagacji wstecznej – sposób generacji gradientu poprzez analizę przepływu sygnałów w sieci oryginalnej i sieci o odwróconym kierunku przepływu sygnałów, zasilanej sygnałem błędu na wyjściu.

Graf sieci – sposób przedstawienia struktury sieci neuronowej przy zastosowaniu symboliki grafu przepływu sygnałów.

Graf dołączony sieci – graf sieci odpowiadający przeciwnemu kierunkowi przepływu sygnałów.

Wektor kierunkowy minimalizacji – wektor wyznaczający kierunek minimalizacji wartości funkcji celu w przestrzeni parametrów.

Gradient – wektor reprezentujący pochodną funkcji celu względem wszystkich parametrów sieci.

Hesjan – macierz drugich pochodnych funkcji celu względem wszystkich parametrów.

Współczynnik uczenia – wielkość określająca krok w kierunku wyznaczonym przez wektor kierunkowy minimalizacji.

Metoda największego spadku – algorytm uczący sieci w którym wektor kierunkowy minimalizacji jest równy ujemnemu gradientowi.

Metoda największego spadku z momentem rozpędowym – metoda największego spadku zmodyfikowana o poprawkę uwzględniającą ostatnią zmianę parametrów.

Algorytm BFGS – algorytm pseudo-newtonowski zmiennej metryki aproksymujący hesjan na podstawie ostatnich zmian wartości adaptowanych parametrów sieci i gradientu.

Algorytm Levenberga-Marquardta – algorytm pseudo-newtonowski stanowiący modyfikację metody Gaussa-Newtona, polegający na wprowadzeniu poprawki gwarantującej dodatnią określoność hesjanu.

Algorytm gradientów sprzężonych – metoda wyznaczania wektora kierunkowego minimalizacji, w której to kierunek poszukiwań jest ortogonalny oraz sprzężony ze wszystkimi poprzednimi kierunkami.

Algorytm RPROP – metoda heurystyczna uczenia sieci, w której przy zmianie parametrów uwzględnia się jedynie znak składowej gradientu, ignorując jej wartość.

Macierz dodatnio określona - macierz której wszystkie wartości własne są dodatnie.

Macierz nieujemnie określona - macierz której wszystkie wartości własne są dodatnie lub zerowe.

Macierz ujemnie określona - macierz której wszystkie wartości własne są ujemne.

Inicjalizacja parametrów – nadanie wartości startowych parametrom sieci (zwykle losowe z określonego zakresu).

Program MLP.m – program uczenia i testowania sieci w Matlabie zaimplementowany w formie GUI.