Podręcznik

Zadaniem sieci SVM w tym zastosowaniu jest aproksymacja zbioru danych pomiarowych $(\mathbf{x}_i, d(\mathbf{x}))$ w dziedzinie liczb rzeczywistych. W odróżnieniu od zadania klasyfikacji wielkości zadane $d_i$ mogą przyjmować dowolne wartości rzeczywiste, a nie tylko binarne $\pm 1$, jak to miało miejsce w przypadku klasyfikatorów. Jest to więc zadanie bardziej złożone niż zadanie klasyfikacji. Dla uzyskania największej efektywności działania sieci i uzyskania sformułowania problemu uczenia jako programowania kwadratowego, przyjmuje się funkcję błędu z tolerancją $\varepsilon$, definiowaną w postaci [68]

Przyjmiemy podobnie jak w zadaniu klasyfikacji, że dane uczące $(\mathbf{x}_i, d(\mathbf{x}))$ są aproksymowane przez funkcję

Zadaniem uczenia jest taki dobór wektora wagowego $\mathbf{w}$, liczby neuronów ukrytych (funkcji jąder) oraz parametrów tych funkcji, aby zminimalizować wartość funkcji błędu

przy możliwie największym ograniczeniu wartości wag $w_i$ sieci. Wprowadzając zmienne dopełniające $\xi_i$, $\xi_i^{'}$ o nieujemnych wartościach (każda odpowiedzialna za przekroczenie marginesu tolerancyjnego w górę lub w dół) zadanie pierwotne uczenia można sformułować bardziej ogólnie, analogicznie jak w zadaniu klasyfikacji jako minimalizację wartości wag sieci oraz zmiennych dopełniających $\xi_i$, $\xi_i^{'}$  i zapisać w postaci [59]

przy liniowych ograniczeniach funkcyjnych zapisanych dla $i=1,2,\ldots,p$ w postaci

Zauważmy, że dobór wartości zmiennych dopełniających $\xi_i$, $\xi_i^{'}$ taki, że spełniony jest warunek $\left| d_i-\left(\mathbf{w}^T \varphi\left(\mathbf{x}_i\right)+b\right)\right| \leq\left(\varepsilon+\xi_i\right)$ zapewnia wartość $L_{\varepsilon+\xi_i}\left(d_i, y\left(\mathbf{x}_i\right)\right)=0$, co automatycznie minimalizuje wartość funkcji błędu $E$ wyrażonego wzorem (5.36). W sformułowaniu zadania pierwotnego występuje stała $C$ stanowiąca wielkość regularyzacyjną, ustalającą kompromis między wartością marginesu separacji reprezentowanego przez wagi sieci i wartością funkcji błędu aproksymacji, uzależnionego od przyjętej wartości $\varepsilon$ oraz uzyskanych w wyniku procesu optymalizacyjnego wartości $\xi_i$, $\xi_i^{'}$.

Dla tak postawionego problemu pierwotnego można zdefiniować funkcję Lagrange'a, w której $\alpha_i$ oraz $\alpha_i ^{'}$ są mnożnikami o wartościach większych lub równych zeru w zależności od spełnienia ograniczeń funkcyjnych a $\mu_i$ oraz $\mu_i ^{'}$ nieujemnymi mnożnikami odpowiadającymi za ograniczenia nakładane na zmienne dopełniające $\xi_i$, $\xi_i^{'}$  w zależności (5.38). Zadanie optymalizacji rozwiązuje się minimalizując funkcję Lagrange’a względem wag $\mathbf{w}$ i zmiennych dopełniających $\xi_i$, $\xi_i^{'}$  oraz maksymalizując ją względem mnożników Lagrange'a (punkt siodłowy funkcji Lagrange’a). Z rozwiązania powyższego zadania otrzymuje się sformułowanie problemu dualnego względem mnożników Lagrange'a w postaci [46,68]

przy ograniczeniach dla $i=1,2,\ldots,p$ 

W zależnościach tych $C$ jest stałą regularyzacji dobieraną przez użytkownika a $K\left(\mathbf{x}_i, \mathbf{x}_j\right) =\varphi^T(\mathbf{x}_i)\varphi(\mathbf{x}_j)$. Zmienne dopełniające $\xi_i$, $\xi_i^{'}$  oraz towarzyszące im mnożniki Lagrange’a nie występują w sposób jawny w sformułowaniu zadania dualnego, ale są uzależnione od mnożników $\xi_i$, $\xi_i^{'}$  spełniając przy tym zależności $\mu_i=C-\alpha_i$,  $\mu_i^{\prime}=C-\alpha_i^{\prime}$, $\xi_i \mu_i=0$ oraz $\xi_i^{'} \mu_i^{'}=0$.

Po wyznaczeniu optymalnego rozwiązania problemu dualnego względem mnożników Lagrange'a obliczane są wagi $\mathbf{w}$ sieci na podstawie zależności

w której $N_{sv}$ oznacza liczbę wektorów nośnych, równą liczbie niezerowych mnożników Lagrange'a. Sygnał wyjściowy $y(\mathbf{x})$ sieci opisuje się zatem zależnością

Wybór wartości hiperparametrów $C$ i $\varepsilon$ wpływa na złożoność sieci SVM. Oba parametry powinny być ustalane przez użytkownika w procesie uczenia. Zadanie aproksymacji jest zatem problemem bardziej złożonym niż klasyfikacja.

Na rys. 5.7 przedstawiono wyniki działania sieci SVM w trybie regresji uzyskane przy użyciu programu Gunna [21]. Dane pomiarowe (punkty zaznaczone znakiem +) zostały aproksymowane krzywą ciągłą realizowana przez SVM. Spośród danych pomiarowych tylko nieliczne stanowią wektory podtrzymujące (punkty oznaczone znakiem + w kółku), Pozostałe punkty danych mieszczą się wewnątrz strefy zdefiniowanej przez wartość $\varepsilon$ równą w eksperymencie $\varepsilon = 0.1$  i nie wpływają na dobór parametrów sieci.