Podręcznik

1. Zaprojektować sieć MLP modelującą krzywą magnesowania pierwotnego żelaza.

2. Zespół trzech klasyfikatorów został wytrenowany na tych samych danych uczących do rozpoznania 2 klas danych. W wyniku testowania zespołu na pięciu wektorach $\mathbf{x}$ uzyskano następujące wskazania klas klasyfikatorów dla poszczególnych danych  $\mathbf{x}_i$:

Klasyfikator 1: 1( $\mathbf{x}_1$), 2( $\mathbf{x}_2$), 2( $\mathbf{x}_3$), 1( $\mathbf{x}_4$), 2( $\mathbf{x}_5$)

Klasyfikator 2: 2( $\mathbf{x}_1$), 1( $\mathbf{x}_2$), 2( $\mathbf{x}_3$), 2( $\mathbf{x}_4$), 2( $\mathbf{x}_5$)

Klasyfikator 3: 1( $\mathbf{x}_1$), 2( $\mathbf{x}_2$), 1( $\mathbf{x}_3$), 1( $\mathbf{x}_4$), 2( $\mathbf{x}_5$)

Podać ostateczne przypisania wektorów  $\mathbf{x}_i$ ($i = 1, 2, 3, 4, 5$) do klas stosując zasadę głosowania większościowego (majority voting).

3. Zaproponować wzory na współczynniki wagowe zespołu 3 klasyfikatorów neuronowych 2-klasowych działających na zasadzie większości ważonej. Przyjąć, że współczynniki te są zależne od znanej z góry dokładności klasyfikacji poszczególnych klasyfikatorów na $p$ danych uczących.

4. Sieć neuronowa o 6 wagach $w_1 = 10; w_2=5; w_3=2; w_4=1; w_5=0,5; w_6=0,1$ została wytrenowana przy użyciu algorytmu uczącego 2-go rzędu dla którego macierz hesjanu określona jest wzorem

$\mathbf{H}=\left[\begin{array}{rrrrrr} 1 & 0,1 & -0,2 & 0,4 & 0,1 & 0,1 \\ 0,1 & 2 & 0,5 & -0,3 & -0,4 & 0,2 \\ -0,2 & 0,5 & 5 & 0,2 & 1,5 & -0,8 \\ 0,4 & -0,3 & 0,2 & 4 & 1,5 & -1,2 \\ 0,1 & -0,4 & 1,5 & 1,5 & 10 & 3,2 \\ 0,1 & 0,2 & -0,8 & -1,2 & 3,2 & 8 \end{array}\right]$

Wyznaczyć wartości współczynnika ważności $S_i$ metodą OBD i OBS (przy obliczeniach macierzowych można wykorzystać program Matlab). Porównać wyniki obu metod i numery wag, podlegające obcięciu.

5. Wyjaśnić pojęcia: przeuczenie sieci, technika "cross validation" oraz leave-one-out.

6. Korzystając z programu MLP.m (patrz opis programu w wykładzie 2) sprawdzić zdolność generalizacji dwu sieci neuronowych MLP o jednym wejściu, jednym wyjściu i dwu różnych liczbach neuronów ukrytych ($K=10$ oraz $K=150$) realizujących aproksymację funkcji sinusoidalnej w jednym okresie przy wykorzystaniu 10 par danych uczących $x, d$ odpowiadających temu okresowi. Dane testujące wygenerować w tym samym okresie poprzez przesunięcie zmiennej $x$ w stosunku do danych uczących. Narysować wykresy funkcji aproksymowanej przez obie sieci na tle wartości zadanych.