Podręcznik

1. Zaprojektować sieć MLP modelującą krzywą magnesowania pierwotnego żelaza.

2. Zespół trzech klasyfikatorów został wytrenowany na tych samych danych uczących do rozpoznania 2 klas danych. W wyniku testowania zespołu na pięciu wektorach \( \mathbf{x} \) uzyskano następujące wskazania klas klasyfikatorów dla poszczególnych danych  \( \mathbf{x}_i \):

Klasyfikator 1: 1( \( \mathbf{x}_1 \)), 2( \( \mathbf{x}_2 \)), 2( \( \mathbf{x}_3 \)), 1( \( \mathbf{x}_4 \)), 2( \( \mathbf{x}_5 \))

Klasyfikator 2: 2( \( \mathbf{x}_1 \)), 1( \( \mathbf{x}_2 \)), 2( \( \mathbf{x}_3 \)), 2( \( \mathbf{x}_4 \)), 2( \( \mathbf{x}_5 \))

Klasyfikator 3: 1( \( \mathbf{x}_1 \)), 2( \( \mathbf{x}_2 \)), 1( \( \mathbf{x}_3 \)), 1( \( \mathbf{x}_4 \)), 2( \( \mathbf{x}_5 \))

Podać ostateczne przypisania wektorów  \( \mathbf{x}_i \) (\(i = 1, 2, 3, 4, 5\)) do klas stosując zasadę głosowania większościowego (majority voting).

3. Zaproponować wzory na współczynniki wagowe zespołu 3 klasyfikatorów neuronowych 2-klasowych działających na zasadzie większości ważonej. Przyjąć, że współczynniki te są zależne od znanej z góry dokładności klasyfikacji poszczególnych klasyfikatorów na \( p \) danych uczących.

4. Sieć neuronowa o 6 wagach \( w_1 = 10; w_2=5; w_3=2; w_4=1; w_5=0,5; w_6=0,1 \) została wytrenowana przy użyciu algorytmu uczącego 2-go rzędu dla którego macierz hesjanu określona jest wzorem

\( \mathbf{H}=\left[\begin{array}{rrrrrr} 1 & 0,1 & -0,2 & 0,4 & 0,1 & 0,1 \\ 0,1 & 2 & 0,5 & -0,3 & -0,4 & 0,2 \\ -0,2 & 0,5 & 5 & 0,2 & 1,5 & -0,8 \\ 0,4 & -0,3 & 0,2 & 4 & 1,5 & -1,2 \\ 0,1 & -0,4 & 1,5 & 1,5 & 10 & 3,2 \\ 0,1 & 0,2 & -0,8 & -1,2 & 3,2 & 8 \end{array}\right] \)

Wyznaczyć wartości współczynnika ważności \( S_i \) metodą OBD i OBS (przy obliczeniach macierzowych można wykorzystać program Matlab). Porównać wyniki obu metod i numery wag, podlegające obcięciu.

5. Wyjaśnić pojęcia: przeuczenie sieci, technika "cross validation" oraz leave-one-out.

6. Korzystając z programu MLP.m (patrz opis programu w wykładzie 2) sprawdzić zdolność generalizacji dwu sieci neuronowych MLP o jednym wejściu, jednym wyjściu i dwu różnych liczbach neuronów ukrytych (\( K=10 \) oraz \( K=150 \)) realizujących aproksymację funkcji sinusoidalnej w jednym okresie przy wykorzystaniu 10 par danych uczących \( x, d \) odpowiadających temu okresowi. Dane testujące wygenerować w tym samym okresie poprzez przesunięcie zmiennej \( x \) w stosunku do danych uczących. Narysować wykresy funkcji aproksymowanej przez obie sieci na tle wartości zadanych.