Słownik opanowanych pojęć
Wykład 4 - Sieci radialne RBF
Sieć neuronowa RBF – sieć neuronowa stosująca radialne funkcje aktywacji neuronów.
Aproksymator universalny lokalny – sieć neuronowa wykorzystująca funkcje aktywacji typu lokalnego (np. gaussowskiego)
Funkcja
gaussowska – typ funkcji aktywacji bazujący na funkcji Gaussa,
definiowany zwykle w postaci
, gdzie c reprezentuje wektor centrum a σ szerokość
funkcji gaussowskiej.
Macierz Greena – macierz zbudowana z funkcji radialnych na bazie danych uczących.
Pseudoinwersja – operacja macierzowa dotycząca procesu odwracania macierzy prostokątnej.
SVD – dekompozycja macierzy według wartości osobliwych.
Wielobok Voronoia – podział przestrzeni danych przedstawiający obszary dominacji określonych centrów odpowiadających poszczególnym funkcjom radialnym.
Grupowanie danych – podział zbioru danych na klastry grupujące dane podobne do siebie.
Algorytm K-uśrednień – metoda podziału zbioru danych na klastry (grupy) reprezentowane przez swoje centra.
Metoda OLS – metoda uczenia sieci RBF wykorzystująca dekompozycję Grama-Schmidta.
Program RBF_win – interfejs graficzny uczenia i testowania sieci RBF w środowisku Matlaba.
Nos elektroniczny – urządzenie do rozpoznawania zapachów przy zastosowaniu sensorów gazowych.
Wykład 5 - Sieć wektorów nośnych SVM
Sieć SVM – sieć wektorów nośnych Vapnika wykorzystująca oryginalne podejście do problemu uczenia.
Hiperpłaszczyzna separująca – hiperpłaszczyzna rozdzielająca dwie klasy danych w przestrzeni wielowymiarowej.
Hiperpłaszczyzna wektorów nośnych – hiperpłaszczyzna przechodząca przez skrajne punkty danych definiowana dla obu klas podlegających rozpoznaniu.
Wektory nośne – zbiór wektorów danych uczących dla których mnożniki Lagrange’a są różne od zera.
Problem pierwotny uczenia – definicja startowa funkcji celu w sieci SVM.
Problem dualny uczenia – ostateczna postać funkcji celu uzależniona jedynie od mnożników Lagrange’a jako zmiennych podlegających optymalizacji.
Mnożniki Lagrange’a –zmienne optymalizowane w procesie uczenia sieci SVM reprezentujące współczynniki kary za niedotrzymanie ograniczeń.
Margines separacji – minimalna odległość między najbliższymi skrajnymi punktami danych obu klas w sieci SVM.
Parametr regularyzacyjny C – waga z jaką traktowane są błędy testowania w stosunku do marginesu separacji w procesie uczenia sieci SVM.
Twierdzenie Covera – twierdzenie pozwalające przetransformować zbiór danych nieseparowalny liniowo w zbiór separowalny liniowo.
Warunek Mercera – warunek matematyczny aby proponowana funkcja mogła być przyjęta jako jądro przekształcenia gwarantując zbieżność procesu uczenia.
Funkcja jądra – funkcja typu skalarnego (ang. kernel) powstała jako iloczyn skalarny dwu wektorów o identycznej postaci obliczany w dwu różnych punktach przestrzeni.
Metoda „jeden przeciw jednemu” – metoda klasyfikacji wieloklasowej polegająca na tworzeniu równolegle wielu sieci rozpoznających wszystkie kombinacje pojedynczych klas.
Metoda „jeden przeciw pozostałym” – metoda klasyfikacji wieloklasowej polegająca na tworzeniu wielu sieci rozpoznających wszystkie kombinacje pojedynczej klasy względem pozostałych klas uważanych za pojedynczą.
Funkcja błędu z tolerancją – specjalna definicja błędu przyjmująca wartość zerową, jeśli różnica między wartością zadaną i aktualną mieści się w granicach tolerancji.
Algorytm SMO – algorytm optymalizacji (ang. Sequential Minimal Optimization) bazujący na programowaniu sekwencyjnym i polegający na dekompozycji zadania programowania kwadratowego na mniejsze podzadania, rozwiązywane sekwencyjnie aż do spełnienia wszystkich warunków optymalności Kuhna-Tuckera.
SVM_win – interfejs graficzny w Matlabie do uczenia i testowania sieci SVM.
Problem 2 spiral – problem testowy klasyfikacji punktów położonych na dwu wzajemnie przeplatających się spiralach należących do dwu różnych klas.
Wykład 6 - Sieci neuronowe głębokie
Sieci głębokie – sieci wielowarstwowe, w których kolejne warstwy połączone lokalnie są odpowiedzialne za generację i selekcję cech diagnostycznych procesu. Cechy te są podawane następnie na stopień końcowy realizujący funkcję klasyfikatora bądź regresora.
Sieć CNN – sieć neuronowa konwolucyjna (ang. Convolutional Neural network) stanowiąca sztandarową postać sieci głębokich.
Autoenkoder – sieć jednokierunkowa wielowarstwowa stanowiąca uogólnienie sieci MLP, stosowana do automatycznej generacji cech diagnostycznych procesu.
LSTM – sieć rekurencyjna głęboka (ang. Long Short-Term Memory) stanowiąca podstawowe narzędzie w predykcji szeregów czasowych.
Stride – krok przesunięcia maski filtrującej obraz.
Pooling – metoda redukcji wymiaru poprzez łączenie sąsiednich pikseli w postaci wartości średniej lub maksymalnej.
ReLU – dwu-odcinkowo liniowa funkcja aktywacji, przyjmująca jako wyjście wartość argumentu wejściowego, jeśli jest on dodatni lub zero w przeciwnym wypadku.
Zero padding – uzupełnianie obrazu zerami (wierszy i kolumn) dla zwiększenia wymiaru obrazu wejściowego.
Mini batch – mały podzbiór danych wybranych losowo ze zbioru uczącego używany w procesie uczenia sieci głębokiej.
Sofplus – modyfikacja funkcji ReLU zapewniając ciągłość pochodnej.
Softmax – metoda uczenia sieci CNN w zadaniu klasyfikacji.
Struktura sieci w pełni połączona – fragment końcowy struktury sieciowej rozwiązania głębokiego, w którym neurony w sąsiednich warstwach są w pełni połączone wagowo.
Funkcja kross-entropijna – specjalna definicja funkcji celu stosowana w uczeniu sieci głębokich wykorzystująca prawdopodobieństwo przynależności do określonej klasy.
SGD – stochastyczny algorytm największego spadku z momentem rozpędowym (ang. Stochastic Gradient Descent)
ADAM – algorytm uczenia sieci głębokich (ang. ADAptive Momenet estimation) stosujący adaptacyjnie dobierany współczynnik uczenia uzależniony od momentu statystycznego gradientu pierwszego i drugiego rzędu.
Transfer learning – metoda uczenia wstępnie nauczonej sieci głębokiej poprzez adaptację jedynie końcowej struktury sieci (zwykle klasyfikatora końcowego) na właściwych danych.
ALEXNET – pierwsza sieć CNN wstępnie wytrenowana do użytku publicznego wykorzystywana poprzez transfer learning.
UNET – sieć głęboka CNN stworzona specjalnie do segmentacji obrazów biomedycznych.
YOLO – sieć CNN (ang. You Only Look Once) wykorzystywana do klasyfikacji i regresji.
RCNN – sieć głęboka stworzona specjalnie do segmentacji obrazów (ang. Region based CNN).
Dywergencja Kullbacka-Leiblera – miara odległości między zbiorami w przestrzeni stochastycznej.
Autoencoder wariacyjny – rozwiązanie sieci głębokiej umożliwiające generację obrazów podobnych do oryginału (ang. Variational Autoencoder) .
GAN – sieć stworzona do koncepcji przeciwstawienia sobie dwu sieci neuronowych, z których jedna reprezentuje dane rzeczywiste, a druga dane generowane sztucznie, udając dane rzeczywiste (ang. Generative Adversarial Network).
BIGAN – modyfikacja sieci GAN o polepszonym działaniu.
Wykład 10 - Sieci rekurencyjne
Sieci rekurencyjne – sieci neuronowe ze sprzężeniem zwrotnym.
Sieć Elmana – sieć rekurencyjna ze sprzężeniem zwrotnym od warstwy ukrytej do wejścia.
Program Elman – interfejs graficzny w Matlabie do eksperymentów z siecią Elmana.
LSTM – sieć rekurencyjna ze sprzężeniem zwrotnym między neuronami ukrytymi w warstwie, stosujące specjalny sposób przetwarzania danych pozwalający długo pamiętać krótkie frazy. Stosowana głównie w predykcji szeregów czasowych.
Komórka LSTM – struktura komórki bloku pamięciowego używanej w LSTM.
Bramka multiplikatywna - regulowany zawór pamięci w komórce LSTM.
Zanieczyszczenia atmosferyczne – zanieczyszczenia powietrza cząsteczkami składników zanieczyszczeń, np. PM10, SO2, NO2.
Predykcja szeregów czasowych – przewidywanie następnych wartości szeregu na podstawie wartości z chwil poprzednich.