Najbardziej oczywisty i najprostszy wybór werdyktu końcowego zespołu klasyfikatorów to zastosowanie głosowania większościowego (ang. majority voting). Każdy wzorzec charakteryzowany przez odpowiedni zestaw cech podawany jest na wszystkie klasyfikatory i podlega niezależnej klasyfikacji, będąc przypisany do odpowiedniej klasy. Następnie zliczana jest liczba przypisań tego wektora do każdej klasy. Zwycięża klasa, która uzyska największą liczbę wskazań. Jedną z odmian tego trybu jest przyjęcie założenia, że zwycięzca musi uzyskać minimum 50% plus jeden głos. W przeciwnym przypadku przyjmuje się brak rozstrzygnięcia.

Jeśli przyjąć identyczne prawdopodobieństwo $\rho$ prawidłowego wskazania klasy przez wszystkie niezależnie działające klasyfikatory i założyć ich nieparzystą liczbę $M$ to zostało udowodnione, że w głosowaniu większościowym statystyczna dokładność zespołu może być wyrażona wzorem [36]

W tabeli 11.1 przedstawiono wartości dokładności wskazań zespołu przy założeniu różnych wartości prawdopodobieństwa p (identycznego dla każdego klasyfikatora) dla liczby klasyfikatorów tworzących zespół, równej odpowiednio 3, 5, 7 oraz 9. Przyjmuje się pełną niezależność działania klasyfikatorów.

Tabela 11.1 Wartości dokładności Acc wskazania klasy przez zespół M niezależnych, jednakowej jakości klasyfikatorów

Zostało udowodnione teoretycznie, że jeśli wartość $p > 0,5$ to przy liczbie członków zespołu dążącej do nieskończoności dokładność wskazania klasy przez zespół dąży do 100%. Jeśli natomiast $p < 0,5$ to zwiększanie liczby członków zespołu zmniejsza dokładność. Przy $M \rightarrow \infty$ dokładność zespołu zmaleje do zera. Dla $p = 0,5$ zastosowanie zespołu nie zmienia dokładności rozpoznania klasy.

W praktyce rzadko można uzyskać identyczną dokładność wszystkich klasyfikatorów. Eksperymenty numeryczne pokazały, że w takim przypadku głosowanie większościowe nie zawsze gwarantuje uzyskanie wyniku zespołu lepszego niż najlepszy wynik indywidualny. W przypadku nierównej jakości poszczególnych klasyfikatorów można stosować głosowanie większościowe ważone. W tym rozwiązaniu siła głosu klasyfikatora indywidualnego zależy od jego dokładności rozpoznania poszczególnych klas, zmierzoną dla danych uczących (zakłada się, że dane uczące są reprezentatywne dla rozwiązywanego problemu klasyfikacji). Przy M klasyfikatorach tworzących zespół określa się wielkość y_i(x) proporcjonalną do prawdopodobieństwa przynależności wektora x do i-tej klasy według wzoru [49]

w którym w_ki jest wagą z jaką k-ty klasyfikator jest uwzględniany przy rozpoznaniu i-tej klasy, natomiast z_ki jest sygnałem wyjściowym k-tego klasyfikatora odpowiedzialnym za rozpoznanie i-tej klasy (sygnał i-tego wyjścia klasyfikatora). Sygnał ten przyjmuje wartość 1 przy rozpoznaniu przez klasyfikator danej klasy bądź zero w przeciwnym przypadku.

Wartości wag w_ki mogą być wyznaczane w różny sposób, uwzględniający jakość poszczególnych członków zespołu. Do typowych rozwiązań należy

gdzie $\eta_{k i}^m$ oznacza wskaźnik jakości (np. dokładność, czułość, precyzję) k-tego klasyfikatora przy rozpoznaniu i-tej klasy, m – wykładnik różnicujący wpływ poszczególnych jednostek zespołu na wynik działania zespołu (np. m= 1, 2, 3). Inny wzór wykorzystuje w integracji zespołu funkcje logarytmiczną [36]

Integracja zespołu klasyfikatorów (lub regresorów) jest również możliwa przy zastosowaniu dodatkowej sieci neuronowej, na wejścia której podawane są sygnały decyzyjne wszystkich członków zespołu. Sieć integrująca trenowana jest na danych (X, d), gdzie macierz wejściowa X jest utworzona z decyzji poszczególnych klasyfikatorów a wektor d reprezentuje przynależność klasową (bądź wartość zadaną w problemie regresji) poszczególnych obserwacji.

Zupełnie innym podejściem do integracji zespołu jest zastosowanie naiwnej reguły Bayesa [7]. Oznaczmy przez P(D_j) prawdopodobieństwo, że j-ty klasyfikator przypisuje wektor wejściowy x do odpowiedniej klasy i załóżmy niezależność działania klasyfikatorów.

Prawdopodobieństwo wskazania klasy $d_i$przez zespół $M$ klasyfikatorów jest wówczas równe

Ponieważ mianownik powyższej zależności nie zależy od klasy d_k prawdopodobieństwo wskazania k-tej klasy przez zespół przy wystąpieniu na wejściu zespołu wektora wejściowego x jest proporcjonalne do wyrażenia z licznika powyższej zależności (założenie naiwnego klasyfikatora Bayesa). Oznaczmy ten współczynnik proporcjonalności przez µ_k(x). Wówczas

Prawdopodobieństwa występujące w tym wyrażeniu określa się na podstawie macierzy R rozkładu empirycznego klas (macierz pomyłek). Dla każdego klasyfikatora buduje się taką macierz na podstawie jego wyników klasyfikacji dla danych uczących. Przy M klasach jest to macierz M×M. Niech N_k oznacza całkowitą liczbę obserwacji (wektorów x zbioru uczącego ) należących do klasy k. Wówczas prawdopodobieństwo może być estymowane w postaci [49]

gdzie $R_{i D_k}$ oznacza element macierzy R odpowiadający k-temu wierszowi i D_i-tej kolumnie na którą wskazał i-ty klasyfikator. Przyjmijmy równe prawdopodobieństwo wystąpienia k-tej klasy wśród całej populacji n danych w postaci ułamka

Wówczas współczynnik proporcjonalności dla wyznaczenia prawdopodobieństwo wskazania i-tej klasy przez zespół może być estymowany w postaci

Powyższą procedurę zastosowania metody naiwnej Bayes’a do integracji zespołu klasyfikatorów zilustrujemy na przykładzie hipotetycznego zespołu zawierającego dwa klasyfikatory do rozpoznania 3 klas. Liczba obserwacji uczących jest równa n=30 (każda klasa reprezentowana przez 10 obserwacji). Przyjmijmy, że macierze rozkładu klas dla obu klasyfikatorów są dane w postaci

Każdy wiersz macierzy odpowiada danym należącym do jednej klasy. Kolumna j-ta macierzy wskazuje, ile przypadków zostało przez dany klasyfikator rozpoznanych jako klasa j-ta. Elementy diagonalne odpowiadają danym rozpoznanym właściwie. Element R_ij pokazuje ile razy obserwacja należąca do klasy i-tej została rozpoznana jako klasa j-ta. Dane z obu macierzy wskazują, że N₁=10, N₂=10, N₃=10.

Załóżmy, że testowany wektor x został przypisany przez klasyfikator pierwszy do klasy drugiej, D₁(x)=d₂, a klasyfikator drugi D₂(x)=d₁ wskazał klasę pierwszą jako zwycięzcę. Rozpoznanie ostateczne klasy przez zespół klasyfikatorów będzie zależało od wartości µ_i dla i=1, 2, 3

Największą wartość osiągnął współczynnik µ₃, stąd decyzją zespołu będzie wskazanie klasy trzeciej jako zwycięskiej dla tej obserwacji x. Zauważmy, że zwyciężyła klasa która nie uzyskała żadnego wskazania klasyfikatorów. To rozwiązanie integracji różni się znacząco od poprzedniej metody, w której zwycięzca był wyłaniany jedynie spośród klas, na którą wskazał co najmniej jeden klasyfikator.

Interesującą techniką poprawy zdolności generalizacyjnych w uczeniu maszynowym jest tworzenie silnych predyktorów (klasyfikatorów bądź układów regresyjnych o podwyższonej dokładności) poprzez zastosowanie zespołów zbudowanych na bazie słabych rozwiązań predyktorów (mało dokładnych), na przykład lasu drzew decyzyjnych, nieoptymalnie dobranych struktur sieci neuronowych RBF lub MLP, itp. Klasyczne techniki tworzenia zespołu poprzez zastosowanie wielu równoległych rozwiązań indywidualnych predyktorów tego samego typu, ale trenowanych na losowo wybranych danych uczących (tzw. bagging), stosowane na przykład w lesie losowym drzew decyzyjnych [3] nie zawsze prowadzą do optymalnego wyniku pod względem generalizacji. Pojawiło się wiele ulepszonych rozwiązań tego typu zespołów. Do najbardziej znanych należą systemy wzmacniana (tzw. boosting), które wpływają na działanie zespołu już na etapie ich tworzenia, ingerując silnie w algorytm uczący. W tym punkcie przedstawione zostaną dwie techniki tworzenia takiego zespołu słabych predyktorów: wzmacnianie adaptacyjne (tzw. adaptive boosting) zwane w skrócie AdaBoost, oraz wzmacnianie gradientowe, zwane w skrócie gradient boosting.

11.3.1 AdaBoost

W technice AdaBoost każdy nowo dodawany członek zespołu (np. nowe drzewo decyzyjne czy klasyfikator MLP) jest trenowany na losowo wybranym zestawie danych uczących, przy czym każda próbka ucząca podlegająca losowaniu ma przypisaną wagę, której wartość jest uzależniona od aktualnego statystycznego błędu dla danej obserwacji przez aktualny stan zespołu [73]. Na starcie wszystkie obserwacje uczące mają identyczne wartości przypisanych wag, stąd prawdopodobieństwo ich wylosowania do zbioru uczącego danego członka zespołu jest identyczne. W wyniku ewaluacji danych przez aktualnie wytrenowany zespół następuje zwiększenie wagi dla obserwacji trudnych w testowaniu oraz zmniejszenie wagi dla danych, które dobrze wypadły na etapie ewaluacji. W efekcie obserwacje o większej wartości wagi mają zwiększone prawdopodobieństwo wylosowania do zbioru uczącego następnego członka zespołu (np. dodawanego drzewa decyzyjnego). Nowy członek zespołu w procesie uczenia specjalizuje się więc w rozpoznaniu przypadków trudniejszych. Każdy następny dodawany członek zespołu poddawany jest trenowaniu na zbiorze uczącym zawierającym coraz trudniejsze przypadki danych, źle rozpoznawane przez istniejących członków zespołu. Wynik działania tak powstałego zespołu jest sumą wagową wskazań poszczególnych członków, przy czym waga jest związana z wartością wagi przypisaną poszczególnym obserwacjom, dobraną wcześniej w procesie dodawania nowych członków zespołu. Jest to zasadnicza różnica w stosunku do klasycznej metody zwykłego głosowania większościowego, stosowanego w technice bagging [73].

Załóżmy, że dany jest zbiór par danych uczących klasyfikatora (x_i, d_i) dla i=1, 2, …, p, gdzie x_i jest wektorem wejściowym a d_i oznacza klasę kodowana na przykład w postaci binarnej (1, -1). Załóżmy, że zespół składa się z M słabych klasyfikatorów generujących wynik y_i przynależności klasowej 1 lub -1 dla każdego wektora wejściowego x_i. W wyniku (m-1) cykli tworzenia nowego członka powstanie zespół, którego werdykt przy pobudzeniu wektorem x_i będzie sumą wagową wskazań wszystkich członków [73]

Po dodaniu $m$-tego słabego predyktora wynik działania zespołu można przedstawić w postaci

Zadanie polega na doborze takiej wartości wagi $\alpha_m$ oraz wyniku $y_m\left(\mathbf{x}_i\right)$ sklasyfikowania wektora $\mathbf{x}_i$ przez $m$-ty klasyfikator aby polepszyć działanie całego zespołu. Funkcję błędu (ang. loss function) definiuje się w postaci wykładniczej dla wszystkich wektorów $\mathbf{x}_i$ biorących udział w procesie uczenia

Wprowadźmy oznaczenia wagowe w powyższym wzorze

• w pierwszym cyklu tworzenia zespołu $w_i^{(1)}$ 

• w $m$-tym ($m > 1$ cyklu $w_i^{(m)}=e^{-d_i F_{m-1}\left(\mathbf{x}_i\right)}$

Wówczas wyrażenie na funkcję błędu przyjmie postać

Rozdzielając to wyrażenie na dwa składniki:

• jeden prawidłowo sklasyfikowany dla którego $d_i y_m\left(\mathbf{x}_i\right)=1$

• drugi sklasyfikowany z błędem dla którego  $d_i y_m\left(\mathbf{x}_i\right)=-1$

otrzymuje się wyrażenie na funkcję błędu w postaci

Analiza powyższego wzoru wskazuje, że wartość błędu $E$ zależy jedynie od czynnika $\sum_{y\left(x_i\right) \neq d_i} w_i^{(m)} e^{\alpha_m}$, gdzie $w_i^{(m)}=e^{-d_i F_{m-1}\left(\mathbf{x}_i\right)}$ . Minimalizacja błędu wymaga aby pochodna funkcji błędu względem $\alpha_m$ była równa zeru, co oznacza

Rozwiązanie powyższej zależności określa optymalną wartość $\alpha_m$  w postaci

Oznaczając względny błąd $m$-tego klasyfikatora jako $\varepsilon_m$, przy czym

wzór na wartość wagi $\alpha_m$ przyjmie ostateczną postać

Wartość ta będzie użyta w $m$-tym kroku przy dodaniu następnego klasyfikatora do zespołu. Wynik klasyfikacji tak rozszerzonego zespołu dla wektora wejściowego $\mathbf{x}_i$ określa wówczas wzór

gdzie $y_i$ $(i=1,2, \ldots, m)$ oznacza wskazanie klasy przez kolejnych członków zespołu, a współczynnik  $\alpha_m$ wagę z jaka to wskazanie jest brane pod uwagę.

11.3.2 Gradient boosting

Technika zwana gradient boosting stosuje inne rozwiązanie tworzenia i trenowania zespołu słabych predyktorów [2,55]. W odróżnieniu od metody AdaBoost stosującej wagi przypisane obserwacjom w zależności od skali trudności w ich rozpoznaniu technika gradient boosting koncentruje się na gradiencie funkcji strat $E(d_i, y_i)$ przy czym funkcja strat może być rozumiana tradycyjnie jako różnica między wartościami aktualnymi i pożądanymi albo koncentrować się jedynie na określeniu jakości modelu, definiowanej dowolnie przez użytkownika. Kolejni członkowie są dodawani wybierając kierunek ujemnego gradientu funkcji strat, nie zmieniając przy tym parametrów dotychczasowych członków zespołu.

Podobnie jak w metodzie AdaBoost dany jest zbiór par danych uczących klasyfikatora $(\mathbf{x}_i, d_i)$ dla $(i=1,2, \ldots, p)$, gdzie $\mathbf{x}_i$  jest wektorem wejściowym a $d_i$ oznacza klasę kodowana na przykład w postaci binarnej $(1, -1)$. Załóżmy, że zespół składa się z $M$ słabych klasyfikatorów generujących wynik $y_i$ przynależności klasowej $1$ lub $-1$ dla każdego wektora wejściowego $\mathbf{x}_i$. Celem jest stworzenie zespołu, którego działanie na zbiorze uczącym minimalizuje wartość średnią błędu. Wynik działania zespołu $M$ predyktorów przy pobudzeniu wektorem $\mathbf{x}_i$ będzie składał się z sumy wagowej wskazań poszczególnych jego członków

Dodanie $m$-tego członka zespołu powinno zmienić wynik działania w kierunku minimalizacji wartości funkcji strat. Działanie zespołu złożonego teraz z $m$ członków można zapisać w postaci

Rozwiązanie zastosowane w metodzie gradient boosting wykorzystuje metodę optymalizacyjną największego spadku, przy czym równanie (11.21) zastępuje się liniową aproksymacją uwzględniającą jedynie czynnik gradientowy (metoda największego spadku)

gdzie $\eta$ jest wielkością kroku w kierunku malejącej wartości gradientu funkcji strat $\nabla_{F_{m-1}} E\left(d_i, F_{m-1}\left(\mathbf{x}_i\right)\right)$. Wartość $\eta$ może podlegać optymalizacji w taki sposób, aby uzyskać minimum funkcji strat $E$ w każdym cyklu dodawania członka zespołu.

Po dodaniu $m$-tego członka wynik działania zespołu przy pobudzeniu wektorem $\mathbf{x}$ określa zmodyfikowany model

Technika gradient boosting jest najczęściej stosowana przy użyciu drzew decyzyjnych jako słabych predyktorów. Badania tego algorytmu pokazały, że najlepsze rezultaty uzyskuje się przy zastosowaniu liczby poziomów decyzyjnych od 4 do 8. W praktyce stosuje się dodatkowo inne metody regularyzacji.

Jednym z nich jest ograniczenie liczby drzew biorących udział w zespole. Wprawdzie zwiększenie ich liczby redukuje zwykle błąd uczenia, ale może prowadzić do „przeuczenia” pogarszając zdolność generalizacji (działanie modelu na danych nie uczestniczących w procesie uczenia). Zwykle obserwuje się zwiększoną efektywność działania zespołu jedynie do określonego poziomu populacji. Po uzyskaniu etapu stagnacji należy zaprzestać dodawania nowych członków.

Inna metoda regularyzacji wprowadza zmniejszenie wartości kroku $\eta$ w procesie adaptacyjnym, zastępując wzór (11.25) określający działanie zespołu jego zmodyfikowaną wersją

w której współczynnik $v$ jest ułamkiem. Typowa wartość to $v=0.1$. Tym nie mniej należy zwrócić uwagę, że oznacza to zmniejszenie realnej wartości kroku uczenia, wydłużające cały proces adaptacji systemu.

Jeszcze innym podejściem jest zastosowanie w uczeniu kolejnych członków zespołu zredukowanej liczby obserwacji losowo wybieranych ze zbioru uczącego (tzw. dropout ratio). Przyspiesza to proces uczenia nie pogarszając zdolności generalizacyjnych (typowa regularyzacja typu niejawnego).

Jako czynnik regularyzacyjny stosuje się również wprowadzenie minimalnej liczby obserwacji dopuszczalnej w węzłach decyzyjnych zanim podział zbioru będzie możliwy. Stosuje się również karanie za zbyt dużą liczbę węzłów decyzyjnych oraz liści w drzewach. Istotnym parametrem działającym jako regularyzacja jest wprowadzenie ograniczenie czasu uczenia poprzez obserwacje postępu w kolejnych cyklach dodawania członków zespołu. Proces podlega zakończeniu, jeśli dodanie kolejnych członków nie poprawia działania zespołu powyżej założonego progu względnego. Zastosowanie wielu metod regularyzacyjnych na raz polepsza zdolności generalizacji zespołu pozwalając przy użyciu słabych predyktorów uzyskać bardzo dobre wyniki klasyfikacji całego zespołu.

W tworzeniu zespołu klasyfikatorów można łączyć ze sobą różnego rodzaju systemy: neuronowe, sieci głębokie CNN, drzewa decyzyjne czy klasyfikatory bayesowskie. W szczególności pojedyncze jednostki zespołu mogą zawierać wewnątrz inne podzespoły, na przykład zastosowanie lasu drzew decyzyjnych (typowy zespół klasyfikatorów) w zespole z pojedynczą siecią MLP, RBF czy SVM. Każde rozwiązanie prowadzące do polepszenia wyników klasyfikacji jest akceptowalne.

11.5 Zadania i problemy

1. Trzy klasyfikatory zastosowane do rozpoznania 2 klas dały wyniki uczenia w postaci macierzy rozbieżności klasowej $\mathbf{R1}$, $\mathbf{R2}$ i $\mathbf{R3}$ o postaci

$\mathbf{R1} =\left[\begin{array}{cc} 15 & 5 \\ 8 & 10 \end{array}\right], \mathbf{R2} =\left[\begin{array}{cc} 8 & 12 \\ 15 & 3 \end{array}\right], \mathbf{R3}=\left[\begin{array}{cc} 19 & 1 \\ 9 & 9 \end{array}\right]$

Przy testowaniu wektorem testowym $\mathbf{x}_{t1}$ poszczególne klasyfikatory wskazał następujące klasy:

1. Klasyfiktor 1 - -> klasa 2, klasyfikator 2 -> klasa 1, klasyfikator 3 -> klasa 1

Przy testowaniu wektorem testowym x_t2 poszczególne klasyfikatory wskazał następujące klasy:

2. Klasyfiktor 1 - -> klasa 1, klasyfikator 2 -> klasa 2, klasyfikator 3 -> klasa 2

Jaki będzie wynik przynależności klasowej zespołu dla obu wektorów przy integracji większościowej oraz większościowej ważonej stosującej wzór (11.10b)

$w_{k i}=\lg \left(\frac{\eta_{k i}}{1-\eta_{k i}}\right)$

2. Zastosować naiwną regułę Bayes’a do integracji zespołu zawierającego dwa klasyfikatory do rozpoznania 3 klas. Liczba obserwacji uczących jest równa n=30. Macierze rozkładu klas dla obu klasyfikatorów są dane w postaci

$\mathbf{R} 1=\left[\begin{array}{ccc} 5 & 3 & 0 \\ 1 & 6 & 2 \\ 2 & 1 & 10 \end{array}\right], \mathbf{R} 2=\left[\begin{array}{lll} 4 & 1 & 3 \\ 0 & 6 & 3 \\ 3 & 4 & 6 \end{array}\right]$

Załóżmy, że testowany wektor $\mathbf{x}_{t}$ został przypisany przez klasyfikator pierwszy do klasy drugiej, a klasyfikator drugi wskazał klasę pierwszą jako zwycięzcę.

3. Sprawdzić działanie pojedynczych sieci głębokich przy rozpoznaniu obrazów twarzy zawartych w bazie MUCT. Wykorzystać postać programu w Matlabie dla sieci przetrenowanych. Porównać czasy uczenia sieci.

4. Sprawdzić działanie zespołu różnych sieci głębokich przy rozpoznaniu obrazów twarzy zawartych w bazie MUCT. Wykorzystać postać programu w Matlabie dla sieci przetrenowanych. Porównać wyniki dla różnej liczby użytych członków zespołu.

5. Sprawdzić działanie zespołu sieci głębokich utworzonych na bazie jednej struktury sieciowej przy rozpoznaniu obrazów twarzy zawartych w bazie MUCT. Wykorzystać postać programu w Matlabie dla sieci przetrenowanych. Porównać wyniki dla różnej liczby użytych członków zespołu.

W zadaniu regresji odpowiedź modelu określa wartość jego odpowiedzi na wymuszenie w postaci atrybutów wejściowych i jest wyrażona w postaci rzeczywisto-liczbowej. Dokładność modelu stanowi podstawowe kryterium, na podstawie którego jest oceniana jego przydatność.

Dla twórcy algorytmu prognozowania dokładność regresji określa, na ile dany model predykcyjny odtwarza poprawnie dane, które są już znane konstruktorowi. Dla użytkownika systemu prognostycznego istotne jest, na ile wiarygodna jest prognoza i czy spełni ona w przyszłości założone kryteria dokładnościowe. Miary dokładności regresji, obliczane są niejako po fakcie, to znaczy najpierw wyliczana jest prognoza, a później dokonywana jej ocena w oparciu o napływające dane rzeczywiste (dokładne). Stąd należą one do miar klasy ex post.

Załóżmy, że dla każdego rekordu danych dostępne są estymowane odpowiedzi modelu oznaczone przez $y_i$ oraz znane wartości dokładne oznaczone symbolem $d_i$ dla $i = 1, 2, \ldots, n$, gdzie $n$ oznacza liczbę rekordów. Chwilowy błąd estymacji jest różnicą między wartością estymowaną a wartością dokładną

Miara jakości modelu jest związana zwykle ze statystyką błędu estymacji. Wyróżnia się różne definicje błędów statystycznych. Do najbardziej popularnych należą [49]:

• błąd średni absolutny (ang. Mean Absolute Error - $\operatorname{MAE}$)

• względny błąd średni absolutny (ang. Mean Absolute Percentage Error - $\operatorname{ MAPE }$)

Błąd MAPE jest najbardziej reprezentatywnym rodzajem oceny jakości regresji, niezależnym od wartości absolutnych ciągu poddanego regresji, stąd najczęściej stosowanym w praktyce. W przypadku, gdy część wartości zadanych $d_i = 0$ miara powyższa staje się równa nieskończoności, przez co staje się bezużyteczna. W takim przypadku przyjmuje się miarę uproszczoną w postaci wyrażonej poprzez normy wektorowe

gdzie $\mathbf{d}$, $\mathbf{y}$oznaczają formę wektorową zbioru wartości, odpowiednio zadanych i estymowanych.

• błąd średniokwadratowy (ang. Root Mean Squared Error - $\operatorname{RMSE}$)




$\operatorname{RMSE}=\sqrt{\frac{1}{n} \sum_{i=1}^n\left|d_i-y_i\right|^2}$

(12.5)

• błąd maksymalny (ang. Maximum Error - $\operatorname{MAXE}$)

• błąd maksymalny procentowy (ang. Maximum Percentage Error - $\operatorname{MAXPE}$)

W wielu zastosowaniach ważną rolę odgrywa miara korelacyjna między wartościami estymowanymi i rzeczywistymi zdefiniowana w postaci współczynnika korelacji

• miara korelacyjna

We wzorze tym $R_{yd}$ oznacza kowariancję między obu ciągami wartości, a $\operatorname{std}$ jest oznaczeniem odchylenia standardowego. Im większa wartość miary korelacji tym lepsza jest jakość predyktora.

Niezależnie od zastosowanej miary jakości regresji ważnym czynnikiem oceny zastosowanego algorytmu jest porównanie osiągniętych wyników z wynikami predyktora naiwnego. Za najprostszy predyktor naiwny uznaje się ekstrapolator zerowego rzędu, przyjmujący jako prognozę wartość znaną dokładnie (element wektora $\mathbf{d}$) z poprzedniego kroku, czyli $y_i = d_{i-1}$. Ograniczając się do miary $\operatorname{MAPE}$ błąd naiwnej prognozy będzie wyrażony wzorem

Różnica między błędem metody naiwnej $\operatorname{MAPE}_{n p}$ i błędem $\operatorname{MAPE}$ odpowiadającym badanej (z definicji bardziej złożonej) metodzie

stanowi miarę pozwalająca ocenić i porównać skuteczność zastosowanej metody regresji. Inną miarą oceniającą jakość testowanej metody regresji względem metody naiwnej jest współczynnik Theila [49], porównujący względną wartość błędu średniego badanej metody z odpowiadająca mu wartością błędu prognozy naiwnej. Jest on zdefiniowany wzorem

Współczynnik ten jest równy zeru tylko wtedy, gdy zastosowana prognoza jest idealna, czyli gdy $y_i = d_i$. W przypadku niezgodności regresji i wartości rzeczywistych wartość tego współczynnika staje się równa $1$ tylko wtedy, gdy różnice między wynikami zastosowanej metody regresji i metody naiwnej są równe zeru. Oznacza to, że obie metody stanowią równie dobre podejścia do prognozowania. Jeśli $U < 1$ wówczas metoda badana jest lepsza niż podejście naiwne. W przeciwnym przypadku metoda naiwna jest lepsza i nie ma potrzeby stosowania bardziej złożonej metody regresji.

W przypadku klasyfikacji miary jakości klasyfikatora są zdefiniowane na podstawie zgodności estymowanej etykiety klasy z etykietą rzeczywistą (prawdziwą). Najbardziej reprezentatywnym sposobem prezentacji wyników jest tutaj zastosowanie macierzy pomyłek, zwanej również macierzą niezgodności klasowej lub macierzą pomyłek (ang. confusion matrix), w której elementy wierszy reprezentują liczbę wzorców należących do kolejnych klas, a elementy kolumn – liczbę wzorców rozpoznanych przez klasyfikator jako dana klasa [65]. Przykład takiej macierzy dla trzech klas przedstawiono w tabeli 12.1. Elementy diagonalne macierzy reprezentują liczbę poprawnie rozpoznanych wzorców. Każdy element pozadiagonalny macierzy reprezentuje błędne rozpoznanie. Element ij-ty macierzy określa liczbę przypadków klasy i-tej rozpoznanych jako klasa j-ta. Klasa pierwsza jest reprezentowana przez pierwszy wiersz, klasa druga przez drugi a klasa trzecia przez wiersz trzeci.

Tabela 12.1 Przykład prezentacji wyników klasyfikacji wzorców 3 klas w postaci macierzy rozkładu klas

Przykładowo spośród 110 przypadków klasy pierwszej 95 zostało rozpoznanych poprawnie, 3 rozpoznanych błędnie jako klasa druga a 12 jako klasa trzecia.

12.2.1 Miary jakości klasyfikatora

Na podstawie wyników klasyfikacji przedstawionych w macierzy rozkładu klas można stworzyć wiele różnych wskaźników jakości klasyfikatora. Najbardziej ogólnym wskaźnikiem jest średni błąd względny w którym odnosi się liczbę klasyfikacji błędnych do liczby wszystkich przypadków poddanych badaniu. Błąd ten można zdefiniować na dwa sposoby: błąd średni dla całego zbioru bez uwzględnienia liczebności klas oraz z ich uwzględnieniem. Oznaczając elementy macierzy rozkładu klas przez a_ij, oba rodzaje błędów można zdefiniować w następujący sposób.

• Błąd średni bez uwzględnienia liczebności klas

• Błąd średni ważony z uwzględnieniem liczebności klas

We wzorach tych K oznacza liczbę klas, a $K_i$ liczbę elementów $i$-tej klasy. W przypadku równej liczebności wszystkich klas oba wskaźniki przyjmują identyczne wartości. Przy nierównych populacjach klas wskaźnik drugi jest bardziej wymagający. Przykładowo dla danych z tabeli 12.1 $\varepsilon_{w1}=31/226=0.137$, podczas gdy $\varepsilon_{w2}=(15/110+10/30+6/86)/3=0.180$.

Wskaźniki zdefiniowane powyżej nie odzwierciedlają problemów występujących w przypadku dużego niezrównoważenia klas. Przykładowo, jeśli w zbiorze danych 99% danych należy do klasy pierwszej a tylko 1% do klasy drugiej (rzadkiej), wówczas przy pełnym rozpoznaniu klasy pierwszej i zerowej skuteczności rozpoznania klasy rzadkiej średni błąd rozpoznania $\varepsilon_{w1}=1\%$, co jest rezultatem zwykle satysfakcjonującym z ogólnego punktu widzenia ale zupełnie nie odzwierciedlającym problemu (1% klasy rzadkiej może reprezentować właśnie te przypadki, które chcemy wykryć w populacji przypadków normalnych, np. chorobę nowotworową w grupie badanych pacjentów). Problem oceny klasyfikatora stosowanego do przypadków rzadkich wymaga innego podejścia do definicji miar jakości, gdyż przypomina szukanie igły w stogu siana.

Rozpatrzmy przypadek klasyfikacji danych należących do dwu klas. Klasę rzadką oznaczymy symbolem + a większościową symbolem –. W takim przypadku macierz rozkładu klasowego może być przedstawiona w postaci jak w tabeli 12.2 [49,65].

Tabela 12.2 Oznaczenia stosowane w macierzy rozkładu klas (+ oznacza klasę rzadką, natomiast – klasę większościową, reprezentującą pozostałe przypadki)

Element a₊₊ macierzy oznacza liczbę prawdziwie rozpoznanych przypadków rzadkich (ang. True Positive – TP), element a_+– oznacza liczbę przypadków rzadkich rozpoznanych jako większościowe (ang. False Negative – FN), element a_–+ oznacza liczbę przypadków większościowych rozpoznanych jako rzadkie (ang. False Positive – FP), a element a_{– –} oznacza liczbę prawdziwie rozpoznanych przypadków większościowych (ang. True Negative – TN). Na bazie tych oznaczeń definiuje się szereg wskaźników jakości szerzej naświetlających problem klasyfikacji w przypadku klas rzadkich [45]. Pierwszym z nich jest czułość oznaczana zwykle symbolem TPR (ang. True Positive Rate), definiowana jako stosunek liczby poprawnie rozpoznanych przypadków rzadkich do liczby wszystkich przypadków rzadkich

Drugim ważnym parametrem jest specyficzność oznaczana symbolem TNR (ang. True Negative Rate), definiowana jako stosunek liczby poprawnie rozpoznanych przypadków większościowych do liczby wszystkich przypadków większościowych

Inną miarą jest wskaźnik rozpoznań fałszywie pozytywnych oznaczany symbolem FPR (ang. False Positive Rate) zdefiniowany jako stosunek liczby przypadków większościowych sklasyfikowanych jako rzadkie do liczby wszystkich przypadków większościowych

Miara ta jest znana również jako wskaźnik fałszywych alarmów FA (ang. False Alarm), określający względny udział błędnych kwalifikacji przypadków większościowych jako rzadkie (np. uznanie pacjenta zdrowego za chorego). Wskaźnik ten jest ściśle powiązany ze specyficznością TNR

Analogicznie definiuje się wskaźnik rozpoznań fałszywie negatywnych (szczególnie niebezpiecznych) oznaczany symbolem FNR (ang. False Negative Rate). Jest on zdefiniowany jako stosunek liczby przypadków rzadkich sklasyfikowanych jako większościowe do liczby wszystkich przypadków rzadkich

Dwa dodatkowe wskaźniki definiują wartości prognostyczne metody. Dodatnia wartość prognostyczna PPV reprezentująca precyzję rozpoznawania przypadków rzadkich (ang. Positive Predictivity Value) określa jaka część przypadków zdiagnozowanych jako rzadkie (TP) jest rzeczywiście rzadka (percepcja rozpoznawania klasy rzadkiej)

Ujemna wartość prognostyczna NPV (ang. Negative Predictivity Value) określa jaka część przypadków zdiagnozowanych jako większościowa (TN) jest rzeczywiście większościowa (percepcja rozpoznawania klasy większościowej)

Ważną praktycznie miarą jakości systemu klasyfikacyjnego jest precyzja klasowa klasyfikatora. Jest ona definiowana jako stosunek prawdziwej liczby rozpoznanych przypadków danej klasy do wszystkich przypadków rozpoznanych przez klasyfikator jako dana klasa. Miara ta dotyczy każdej klasy, w tym większościowej i rzadkiej, oznaczonych jako PPV i NPV

Inną miarą uniwersalną systemu klasyfikacyjnego jest F1. Definiowana jest dla każdej klasy oddzielnie na podstawie precyzji oraz czułości klasowej. Oznaczając precyzję rozpoznania klasy k-tej przez $\operatorname{Prec}(k)$ i czułość rozpoznania klasy przez $\operatorname{Sens}(k)$ miara $\operatorname{F1}(k)$ jest zdefiniowana w postaci

Średnia dokładność prognozy ACC (ang. ACCuracy) określająca procent dobrze sklasyfikowanych przypadków może być zdefiniowana wzorem

Oznacza ona liczbę prawidłowo sklasyfikowanych przypadków (rzadkich i większościowych) odniesioną do liczby wszystkich przypadków poddanych klasyfikacji. Miara ta jest ściśle związana ze średnim błędem względnym $\varepsilon_{w1}$ zdefiniowanym wcześniej (zależność 12.12)

Przedstawione powyżej miary jakości charakteryzują klasyfikator z różnych punktów widzenia. Maksymalizacja jednego wskaźnika jest często sprzężona z pogorszeniem innego.

W przypadku większej liczby klas przyjmuje się porównanie wybranej klasy z pozostałymi traktowanymi jako grupa wspólna (klasa zbiorowa). W ten sposób problem oceny sprowadza się do zadania 2-klasowego.

12.2.2 Charakterystyka ROC

Ważnym elementem oceny klasyfikatora jest porównanie jego działania z klasyfikatorem losowym [49,65]. Porównanie takie umożliwia reprezentacja graficzna wyników w postaci charakterystyki ROC (ang. Receiver Operating Characteristics). Krzywa ROC przedstawia relację między miarą TPR (oś pionowa y) a miarą FPR (oś pozioma x). Każdy punkt krzywej odpowiada innemu doborowi parametrów modelu klasyfikatora. Dwa typy możliwych przebiegów krzywej ROC dla klasyfikatorów K₁ oraz K₂ w porównaniu z klasyfikatorem losowym K_r (klasyfikacja poprzez losowanie) przedstawione są na rys. 12.1.

W krzywej ROC można wyróżnić kilka istotnych punktów [65].

• (TPR=0, FPR=0) – klasyfikator kwalifikuje każdy przykład jako klasę większościową

• (TPR=1, FPR=1) – klasyfikator kwalifikuje każdy przykład jako klasę rzadką

• (TPR=1, FPR=0) – model idealny, rozpoznający bezbłędnie wszystkie przypadki

• punkty (TPR, FPR) położone na prostej diagonalnej oznaczają klasyfikację całkowicie losową.

Dobry klasyfikator powinien mieć krzywą ROC położoną tak blisko jak to możliwe lewego górnego punktu o współrzędnych (0, 1). Miara jakości klasyfikatora może być oceniana na podstawie pola powierzchni S_ROC pod krzywą ROC. Pole powierzchni S_ROC=1 oznacza klasyfikator idealny. Wartość pola S_ROC=0.5 oznacza klasyfikację losową (rozwiązanie klasyfikatora bezsensowne). Im S_ROC jest bliższe jedności, tym lepsza jest ocena takiego rozwiązania modelu klasyfikacyjnego. Miara nosi popularną nazwę AUC (Area Under Curve).

Aby utworzyć krzywą ROC należy dysponować sygnałem wyjściowym klasyfikatora w postaci ciągłej (przed binaryzacją). Może to być aktualna wartość prawdopodobieństwa w klasyfikatorze Bayes’a, bezpośrednia wartość funkcji sigmoidalnej w klasyfikatorze MLP, wartość sumy wagowej neuronu wyjściowego sieci RBF czy wartość ciągła y(x) wytworzona w klasyfikatorze SVM. Procedurę tworzenia krzywej ROC można przedstawić w następujących punktach.

1. Ustaw wyniki klasyfikacji (rekordy danych testowych) w kolejności rosnącej (od najmniejszego do największego) sygnału wyjściowego klasyfikatora.

2. Wyselekcjonuj rekord o najmniejszej wartości sygnału. Sklasyfikuj wybrany rekord i wszystkie powyżej niego jako klasę rzadką (oznaczenie +). To oznacza w rzeczywistości przyjęcie, że wszystkie rekordy danych należą do klasy rzadkiej.

3. Przesuń się o jeden rekord w górę i sklasyfikuj wybrany rekord oraz wszystkie powyżej niego jako klasę rzadką, natomiast wszystkie poniżej niego jako klasę większościową (oznaczenie –). Dla każdego przypadku określ miary jakości w postaci wskaźników TP, FP, TN, FN, a następnie TPR oraz FPR.

4. Powtórz krok 3 dla wszystkich kolejnych rekordów, określając wartości wymienionych wyżej miar jakości.

5. Wykreśl otrzymaną zależność TPR=f(FPR), stanowiąca krzywą ROC.

6. Wyznacz pole powierzchni AUC pod krzywą ROC.

Charakterystyka ROC pozwala w prosty sposób porównać rozwiązania różnych rozwiązań systemu klasyfikacyjnego 2 klas. Istotna jest przy tym wartość pola pod krzywą ROC, tzw. AUC. Jest ona zawsze z przedziału [ 0, 1]. Im wyższa wartość AUC, tym lepsze jest rozwiązanie.

Procedurę wyznaczania krzywej ROC zilustrujemy przykładem dla wyników dwu różnych klasyfikatorów.

W pierwszym przypadku wyniki działania modelu na danych testujących przedstawiono w tabeli 12.3, w której wiersz pierwszy oznacza prawdziwą przynależność do klasy, a wiersz drugi sygnał wyjściowy klasyfikatora (przed poddaniem działaniu funkcji dyskryminującej klas).

Tabela 12.3 Wyniki testowania klasyfikatora pierwszego

Stosując procedurę tworzenia charakterystyki ROC otrzymuje się wyniki przedstawione w tabeli 12.4.

Tabela 12.4 Ilustracja kolejnych etapów tworzenia charakterystyki ROC dla klasyfikatora pierwszego

Na rys. 12.2 przedstawiono graficzną postać charakterystyki ROC. Pole powierzchni pod krzywą AUC=S_ROC wynosi 0.56. Jakość klasyfikatora jest więc jedynie nieznacznie lepsza od klasyfikatora losowego dla którego to pole wynosi 0.5. Jest to również uwidocznione na rysunku, gdzie prosta przerywana oznacza ROC dla klasyfikatora losowego.

Rys. 12.2 Charakterystyka ROC klasyfikatora z przykładu pierwszego

Dla porównania w tabeli 12.5 przedstawiono wyniki klasyfikacji innego klasyfikatora oraz obliczenia dotyczące miar jakości służące do wyznaczenia krzywej ROC.

Tabela 12.5 Ilustracja kolejnych etapów tworzenia charakterystyki ROC dla klasyfikatora drugiego

Na rys. 12.3 przedstawiono graficzną postać charakterystyki ROC odpowiadającej wynikom zawartym w tabeli 12.4. Pole powierzchni pod krzywą AUC=S_ROC wynosi tym razem 0.94, a więc jest bliskie jedności. Jakość klasyfikatora jest zdecydowanie lepsza od klasyfikatora losowego.

Program Matlab zawiera gotowe funkcje do wykreślania charakterystyki ROC i obliczania wartości AUC. Przykład takiego programu dla danych zawartych w tabeli podany jest poniżej.

Tabela 12.6 Dane do utworzenia krzywej ROC i obliczenia wartości AUC

y=[0.1 0.2 0.3 0.35 0.45 0.5 0.6 0.7 0.8 0.9 1]
d=[0 0 1 0 1 1 1 1 0 1 1]
[tpr,fpr,th]=roc(d,y);
figure(1), plot(fpr,tpr)
grid, xlabel('FPR'),ylabel('TPR'), title ('ROC')
[X,Y,T,AUC] = perfcurve(d,y,1)
figure(2), plotroc(d,y), grid

W wyniku uzyskuje się AUC=0.7857.

Dla uzyskania poprawy jakości rozwiązania klasyfikatora rozpoznającego dwie klasy o niezrównoważonej liczebności można stosować różne metody. Do najbardziej znanych należy zróżnicowanie kosztu błędnych klasyfikacji odpowiadających różnym rodzajom błędu, metody równoważenia klas, specjalne metody kodowania klas, czy stosowanie zespołu klasyfikatorów omówione w rozdziale poprzednim.

12.3.1 Metoda różnicowania kosztu błędnej klasyfikacji

Dla uzyskania lepszych miar jakości przy rozpoznawaniu elementów klasy rzadkiej można zastosować w uczeniu funkcję kary uwzględniającą koszt złego rozpoznania elementów tej klasy [58]. Niech $K_{ij}$ oznacza koszt związany z błędnym rozpoznaniem przez model klasyfikatora klasy $i$-tej jako klasa $j$-ta. Jednocześnie można nagradzać klasyfikator za poprawną klasyfikację poprzez przyjęcie wartości ujemnej wagi dla kosztu $K_{ij}$. Przy oznaczeniu klasy rzadkiej symbolem $+$ a klasy większościowej symbolem $–$ i uwzględnieniu przyjętych oznaczeń jak w tabeli 12.2 całkowity koszt klasyfikacji przy użyciu modelu M można wyrazić wzorem [65]

Zauważmy, że przyjęcie standardowych wartości $K_{TP}=K_{TN}=0$ oraz $K_{FP}=K_{FN}=1$ oznacza klasyczne podejście do oceny jakości (równa kara za oba rodzaje błędów i brak nagrody za poprawną klasyfikację), gdyż

Funkcja kary jest w tym przypadku równa liczbie błędnych klasyfikacji. Dla zilustrowania wpływu doboru wartości wag elementów kosztu na ocenę modelu klasyfikatora przyjmijmy wartości tych wag jak niżej:

$K_{TP}=0$

$K_{FP}=1$

$K_{FN}=100$

$K_{TN}=0$

W przyjętej definicji funkcji kary zakwalifikowanie błędne klasy rzadkiej do większościowej jest karane 100-krotnie bardziej niż przypadek fałszywego alarmu (zakwalifikowanie rekordu należącego do klasy większościowej jako rekordu klasy rzadkiej).

Rozważmy dla porównania dwa przypadki wyników odpowiadające dwu modelom klasyfikatora $M_1$ oraz $M_2$ jak przedstawiono w tabelach 12.7 oraz 12.8.

Tabela 12.7 Wyniki klasyfikacji przy użyciu modelu $M_1$

Tabela 12.8 Wyniki klasyfikacji przy użyciu modelu $M_2$

W przypadku klasycznej definicji kosztów klasyfikacji (oba rodzaje błędów traktowane z jednakową wagą równą 1) otrzymuje się

$K_c\left(\mathrm{M}_1\right)=200 \times 0+60 \times 1+50 \times 1+300 \times 0=110$

$K_c\left(\mathrm{M}_2\right)=180 \times 0+80 \times 1+5 \times 1+345 \times 0=85$

Lepszym klasyfikatorem jest tutaj model $M_2$, gdyż jego funkcja kosztu jest mniejsza.

Koszty całkowite w przypadku przyjętego różnicowania wag błędnych klasyfikacji wynoszą

$K_c\left(\mathrm{M}_1\right)=200 \times 0+100 \times 60+50 \times 1+300 \times 0=6050$

$K_c\left(\mathrm{M}_2\right)=180 \times 0+80 \times 100+5 \times 1+345 \times 0=8005$

Tym razem lepszym klasyfikatorem okazał się model $M_1$, gdyż wartość kosztu klasyfikacji z nim skojarzona jest mniejsza.

Zmodyfikowana metoda obliczania kosztu błędnej klasyfikacji może posłużyć odpowiedniemu zaprojektowaniu klasyfikatora. Jako funkcję celu w uczeniu definiować można nie liczbę wszystkich błędnych klasyfikacji traktowanych jednakowo (podejście klasyczne), ale z odpowiednimi mnożnikami za poszczególne rodzaje błędów które zmuszą klasyfikator do odpowiedniego ukształtowania granic przynależności do obu klas. W wyniku takiego podejścia próg przynależności do obu klas ulega takiemu przesunięciu, aby kosztem zwiększenia liczby fałszywych alarmów zmniejszyć liczbę błędnego rozpoznania elementów klasy rzadkiej.

12.3.2 Metody równoważenia klas

Inną metodą pozwalającą na polepszenie jakości klasyfikacji w przypadku dwu klas niezrównoważonych jest próba poprawy stopnia zrównoważenia poprzez zastosowanie odpowiedniego próbkowania [24,49,65]. W wyniku takiego podejścia względna reprezentacja klasy rzadkiej powinna zostać wzbogacona w stosunku do klasy większościowej. W praktycznym rozwiązaniu tego problemu stosuje się zarówno zmniejszanie liczebności klasy większościowej użytej w uczeniu jak i zwiększanie liczby reprezentantów klasy rzadkiej.

Najprostszym rozwiązaniem jest zredukowanie liczby danych uczących klasy większościowej do poziomu reprezentowanego przez klasę rzadką. Powstaje wówczas problem doboru próbek uwzględnionych w uczeniu. Jednym z rozwiązań jest stworzenie wielu klasyfikatorów, z których każdy trenowany jest na pełnym zbiorze próbek rzadkich i wybranym podzbiorze (innym dla każdego klasyfikatora) próbek większościowych. Na przykład, jeśli klasa rzadka jest reprezentowana przez 100 próbek uczących, a większościowa przez 1000, można wytrenować 10 klasyfikatorów, każdy na innym podzbiorze klasy większościowej. W następnym etapie tworzy się zespół klasyfikatorów a wynik końcowy może być otrzymany na zasadzie głosowania większościowego (ang. majority voting).

Innym rozwiązaniem, które nadaje się do zastosowań w pewnych przypadkach (np. dane wejściowe dwuwymiarowe, dane wielowymiarowe zrzutowane na płaszczyznę bądź w przestrzeń trójwymiarową) jest wizualizacja rozkładu danych obu klas. Bez utraty zdolności generalizacyjnych można odrzucić te próbki większościowe, które położone są daleko od przewidywanej granicy obu klas. W zbiorze uczącym pozostawia się jedynie reprezentatywną liczbę próbek, porównywalną z populacją klasy próbek rzadkich.

W przypadku podejścia drugiego celem jest zwiększenie liczby reprezentantów klasy rzadkiej do poziomu populacji klasy większościowej. Odbywa się to poprzez sztuczne dodawanie do zbioru uczącego dodatkowych próbek klasy rzadkiej na zasadzie interpolacji między oryginalnymi punktami danych. Współrzędne dodawanych punktów tworzy się na zasadzie uśredniania współrzędnych kilku najbliższych sąsiadów należących do tej samej klasy. Innym rozwiązaniem jest dodawanie szumu losowego do współrzędnych istniejących punktów klasy rzadkiej i tworzenie w ten sposób nowych danych klasy rzadkiej. Tego typu podejście wyrównuje liczebność obu klas, ale nie wzbogaca informacji o modelowanym procesie. Zapobiega jedynie obcięciu pojedynczych próbek rzadkich umieszczonych w otoczeniu próbek klasy większościowej.

Najczęściej łączy się oba podejścia, redukując zarówno liczebność klasy większościowej jak i wzbogacając reprezentację klasy rzadkiej. Takie podejście do problemu równoważenia klas jest najbardziej zalecane w praktyce, gdyż w stosunkowo najmniejszym stopniu zaburza oryginalny rozkład danych obu klas.

12.3.3 Problemy klasyfikacji wieloklasowej

Niektóre metody klasyfikacyjne, na przykład SVM są w oryginale zaprojektowane do klasyfikacji binarnej i są w stanie rozróżnić jedynie 2 klasy. Rozróżnianie wielu klas wymaga stosowania specjalnych technik stosujących kombinację klasyfikatorów binarnych. Do najbardziej znanych podejść należy metoda jeden przeciw jednemu i jeden przeciw pozostałym [59,68].

W pierwszej metodzie przy M klasach tworzy się M(M-1)/2 klasyfikatorów binarnych odpowiedzialnych za rozpoznanie kombinacji 2 klas kolejno parowanych ze sobą. Przy podaniu na wejście wszystkich klasyfikatorów wektora testowego x ostatecznym zwycięzcą jest ta klasa, która zostanie wskazana przez większość głosujących.

W metodzie jeden przeciw reszcie przy M klasach konstruuje się M klasyfikatorów, z których każdy trenowany jest do rozróżnienia między pojedynczą klasą a klasą zbiorczą złożoną z pozostałych. Przy podaniu na wejście takiego klasyfikatora wektora testowego x zwycięska klasa (pojedyncza lub wszystkie klasy zbiorowe tworzące resztę) jest nagradzana głosem. Klasa która otrzyma najwięcej głosów jest uważana za zwycięzcę.

Zdecydowana większość rozwiązań klasyfikatorów umożliwia rozróżnienie wielu klas jednocześnie w jednym układzie klasyfikacyjnym. Wymaga to zdefiniowania wektora etykiet klas (wektor $\mathbf{d}$). Najczęściej stosowanym rozwiązaniem jest wówczas zwykłe kodowanie zero-jedynkowe. Etykieta klasy do której należy wektor $\mathbf{x}$ jest kodowana poprzez wartość 1, a pozostałe klasy przez zero. Wzorzec testowany $\mathbf{x}$ należy do klasy, na którą wskazuje jedynka, przy czym wartość 1 przypisuje się neuronowi o największej wartości sygnału wyjściowego. Pozostałe neurony przyjmują zerową wartość sygnału wyjściowego. Przy takim rozwiązaniu liczba neuronów wyjściowych klasyfikatora jest równa liczbie klas.

Przykładowo przy zwykłym (pojedynczym) kodowaniu zero-jedynkowym czterech klas można je przyporządkować przy użyciu kodu przedstawionego w tabeli 12.9

Tabela 12.9 Przykład zwykłego kodowania zero-jedynkowego binarnego czterech klas

Należy zauważyć, że na etapie odtwarzania może powstać problem interpretacji binarnej wyniku rzeczywisto-liczbowego generowanego zwykle przez klasyfikator. Najczęściej wyjściu klasyfikatora o największym sygnale przypisuje się wartość 1 a pozostałym wyjściom zero. Problemem może być podobna wartość dwu lub więcej sygnałów lub ich bardzo mały (zbliżony do zera) poziom wartości. W takich przypadkach wiarygodność wyniku klasyfikacji opartej na jednej wartości jedynkowej jest stosunkowo mała.

Innym rodzajem kodowania zero-jedynkowego jest tak zwane kodowanie rozproszone, w którym liczba jedynek użyta w kodowaniu klasy może być dowolna. Oznacza to, że liczba neuronów wyjściowych w takim klasyfikatorze może być różna od liczby klas. Po określeniu sygnałów wyjściowych $y_i$ poszczególnych neuronów i zaokrągleniu ich wartości do zera (gdy $y < 0.5$) lub jedynki (gdy $y > 0.5$) porównuje się wektor wyjściowy $\mathbf{y}$ z wektorami kodowymi klas obliczając odległość Hamminga (odległość ta jest sumą różnic między poszczególnymi składowymi obu wektorów binarnych). Wzorzec przypisuje się do klasy dla której ta odległość jest najmniejsza. Przykład takiego kodowania dla czterech klas przy użyciu 5 neuronów wyjściowych przedstawiono w tabeli 12.10.

Tabela 12.10 Przykład kodowania zero-jedynkowego rozproszonego czterech klas

Zaletą kodowania rozproszonego jest mniejsza wrażliwość układu na wszelkiego rodzaju niedokładności klasyfikatora spowodowane szumem, zwłaszcza w przypadku, gdy sygnały wyjściowe neuronów są bliskie sobie i przypisanie jedynki największemu z nich może rodzić pewne wątpliwości.

1. Zaproponować schemat kodowania zero-jedynkowego rozproszonego do rozpoznaniania 5 klas.

2. Porównać miary jakości 2 modeli: M₁ i M₂ przy standardowej definicji funkcji kosztu oraz funkcji różnicującej przypadki FN i FP. Przyjąć przy tym współczynniki K_FP=1 i K_FN=200. Macierze rozkładu klas są jak poniżej.

3. Narysować krzywą ROC dla klasyfikatora o wynikach

Określić wartość AUC.

4.Macierz rozkładu klas jest dana w postaci

$\mathbf{R}=\left[\begin{array}{cccc} 100 & 8 & 10 & 2 \\ 3 & 150 & 0 & 7 \\ 30 & 50 & 200 & 20 \\ 7 & 3 & 90 & 500 \end{array}\right]$

Określić następujące miary jakości: dokładność, precyzje klasowe oraz czułości rozpoznania poszczególnych klas.

5. Wyniki regresji uzyskane przez sieć neuronową ( y ) oraz wartości rzeczywiste procesu ( d ) podane są w tablicy poniżej

Narysować rozkład obu wartości na wspólnym wykresie oraz rozkład błędów. Wyznaczyć wartości miar jakości: MAPE, RMSE oraz miarę korelacyjną.

Inflacja jest zjawiskiem monetarnym wywołanym szybszym przyrostem ilości pieniądza niż produkcji. W efekcie obserwuje się na rynku długotrwały wzrost średniego poziomu cen dóbr i usług konsumpcyjnych i nie konsumpcyjnych wchodzących do tak zwanego koszyka dóbr. Lista tych dóbr i usług jest każdorazowo określona przez Główny Urząd Statystyczny i ewentualnie nowelizowana odpowiednio do preferencji konsumentów.

13.2.1 Wprowadzenie

Miernikiem inflacji stosowanym praktyce jest indeks cen towarów i usług konsumpcyjnych, definiowany jako stosunek kosztów określonych dóbr konsumpcyjnych wchodzących w skład koszyka do kosztów tych samych dóbr w okresie przyjętym za bazowy.

Inflacja jest faktem obiektywnym i poprzez swój związek z wartością pieniądza i stopami procentowymi musi być brana pod uwagę przy podejmowaniu decyzji związanych z inwestowaniem i zarządzaniem finansami. Istnieje więc potrzeba prognozowania indeksu cen, ponieważ oczekiwania inflacyjne wpływają na wiele decyzji biznesowych podejmowanych w skali zarówno mikro- jak i makroekonomicznej.

Na inflację wpływa aktualny popyt na określone towary na rynku jak również sfera produkcji oraz organizacja współczesnego społeczeństwa. Jednym z najistotniejszych elementów który musi być określony w modelu prognozy jest zdefiniowanie cech diagnostycznych, które będą wpływały w sposób bezpośredni na wynik prognozy. W niniejszych badaniach uwzględnione będą następujące wielkości odniesione do kolejnych miesięcy:

• wskaźnik cen i usług konsumpcyjnych (${wcu}$)

• średnia płaca miesięczna (${spm}$)

• stopa bezrobocia (${sb}$)

• wartość produkcji sprzedanej w przemyśle (${wps}$)

W prognozie na dany miesiąc brać będziemy pod uwagę powyższe wielkości odniesione do określonej liczby miesięcy z przeszłości.

13.2.2 Model neuronowy predykcji

Podstawowym elementem, który musi być rozwiązany w pierwszej kolejności jest wybór i ewentualna selekcja cech diagnostycznych, które będą uwzględniane w modelu. Cztery wymienione wyżej czynniki brane pod uwagę w modelu mogą dotyczyć wiele miesięcy wstecz, pozwalając w ten sposób na uwzględnienie dynamiki ich zmian na wartość prognozowanego wskaźnika cen i usług. Ponadto jako cechy diagnostyczne mogą być traktowane same wielkości bądź ich miesięczne przyrosty. W naszym modelu neuronowym prognozy wzięto pod uwagę każdy z 4 wymienionych wyżej czynników biorąc pod uwagę ich wielkości rzeczywiste. Dla zapewnienia porównywalności wpływu każdej wielkości wszystkie zmienne związane z prognozą podlegały normalizacji według wzoru

We wzorze tym $x_{rz}$ oznacza wielkość rzeczywistą, $x_{n}$ – wartość znormalizowaną, $x_{min}$ – wartość minimalną a $x_{max}$ – wartość maksymalną zmiennej $x$.

Przy wyborze ilości miesięcy branych wstecz dla uwzględnienia trendu zmian dla każdej z 4 cech prognostycznych zdecydowano się uwzględniać ich wartości z trzech poprzedzających miesięcy. Stąd przy prognozowaniu współczynnika cen i usług na miesiąc $m$-ty wektor wejściowy $\mathbf{x}$ w prognozie miał postać:

$\mathbf{x}=[{wcu}(m-1), \ldots, {wcu}(m-3), {spm}(m-1), \ldots, {spm}(m-3), {sb}(m-1), \ldots, {sb}(m-3), {wps}(m-1), \ldots, {wps}(m-3)]$

Jest to wektor 12-elementowy. Prognoza dotyczyć będzie wskaźnika cen towarów i usług konsumpcyjnych w odniesieniu do tego samego miesiąca sprzed roku. W eksperymentach numerycznych wykorzystano dostępną aktualnie bazę danych GUS z lat od stycznia 1999 do czerwca 2006. Zawiera ona dane dotyczące 126 miesięcy. Na rys. 13.1 przedstawiono graficznie wartości wskaźników dotyczące tych miesięcy.

Połowa z tych danych (63) została użyta w uczeniu a druga połowa pozostawiona do testowania wytrenowanej sieci. Dane użyte w uczeniu i testowaniu podlegały wyborowi losowemu (funkcja randperm Matlab) a wszystkie obliczenia powtarzane 10-krotnie z obliczeniem wartości średnich błędów.

13.2.3 Wyniki badań eksperymentalnych prognozy

Badania zdolności prognostycznych sieci neuronowych w problemie predykcji wskaźnika cen towarów i usług przeprowadzono dla dwu rodzajów sieci neuronowych: sieć perceptronowa (MLP) oraz SVM. W przypadku sieci MLP zastosowana struktura miała postać: 12-5-1 (liczba neuronów ukrytych została dobrana w wyniku eksperymentów wstępnych). Sieć SVM do regresji posiadała identyczną liczbę wejść (12) i jedno wyjście. Liczba funkcji jądra jest natomiast dobierana automatycznie przez program uczący na podstawie danych uczących i wartości hiperparametrów. W uczeniu zastosowano stałą regularyzacji $C=1000$, współczynnik tolerancji $\varepsilon=0,02$ i jądro gaussowskie o stałej $\gamma=0,008$

Prognozowane wartości wskaźnika ${wcu}$ zostały porównane z odpowiednimi wartościami rzeczywistymi wziętymi z bazy danych GUS. Jako miary jakości zastosowano trzy podstawowe rodzaje błędów ($n$ oznacza liczbę miesięcy uczestniczących w teście, ${wcu}(m)$ – rzeczywistą wartość wskaźnika ${wcu}$ w miesiącu $m$, $\widehat{wcu}$ - wartość przewidywaną przez program):

• Średni względny błąd procentowy (MAPE)

• Maksymalny błąd względny procentowy (MAXPE)

• Średniokwadratowy błąd procentowy (RMSE)

W tabeli 13.1 zestawiono uzyskane wartości błędów prognozy dla danych testujących (63 miesiące) nie uczestniczących w uczeniu.

Tabela 13.1 Zestawienie błędów prognozy dla danych testujących nie uczestniczących w uczeniu sieci neuronowych

Uzyskane wartości błędów świadczą o bardzo dobrym działaniu predykcyjnym sieci neuronowych. Zarówno błędy średnie jak i maksymalne pozostają na małym (akceptowalnym w praktyce) poziomie. Na rys. 13.2 przedstawiono na wspólnym wykresie wartości wskaźnika inflacji wcu prognozowane przez sieć SVM oraz wielkości rzeczywiste (wykres górny). Na wykresie dolnym zobrazowano zmiany miesięczne błędów predykcji wyrażone w procentach.

Widoczna jest bardzo dobra zgodność wielkości prognozowanych i rzeczywistych. Błąd prognozy pozostaje na bardzo małym (zbliżonym do zera) poziomie.

Celem zastosowania sieci neuronowej w tej aplikacji jest określenie prawdopodobnej zmiany kursów akcji na giełdzie na podstawie danych dostarczonych na wejście sieci. Analiza zmian kursu akcji w określonym horyzoncie czasowym umożliwi inwestorowi podjęcie decyzji dotyczącej kupna lub sprzedaży tych akcji na giełdzie. Na rys. 13.3 przedstawiono przykładowy wykres zmian kursu spółki giełdowej PKOBP w kolejnych 120 dniach roku (krzywa ciągła) oraz kursu uśrednionego po 3 dniach. Rysunek dolny przedstawia wykres zmian współczynników kierunkowych $a1$ zmian wartości uśrednionych akcji wyznaczonych na podstawie 7-elementowej próby.

Sygnały transakcji (kupna lub sprzedaży akcji) znajdują się w punktach przecięcia krzywej nachylenia kursu z osią czasu. Sygnał sprzedaży akcji jest generowany w momencie przecięcia osi czasu z malejącą krzywą nachylenia kursu, natomiast sygnał sprzedaży z krzywą rosnącą. W analizowanym okresie widocznych jest 15 następujących po sobie sygnałów kupna i sprzedaży. Porównując ceny kupna i sprzedaży w kolejnych punktach można wyznaczyć zysk na transakcji.

Najistotniejszym czynnikiem decydującym o jakości działania predyktora jest wybór zmiennych wejściowych dla sieci. Najprostszym, choć jednocześnie najmniej dokładnym rozwiązaniem jest predykcja na podstawie jedynie kursów akcji spółki w określonym horyzoncie czasowym (np. 30 dni). Większą dokładność można uzyskać biorąc pod uwagę szerszy zbiór parametrów dotyczących giełdy i otoczenia giełdowego, w tym

• kursy akcji w minionych sesjach giełdowych

• wolumen obrotów akcjami danej spółki,

• wartość obrotu wszystkimi akcjami na giełdzie,

• wartość i zmiana wartości indeksu WIG,

• aktualne zmiany indeksów giełdowych na giełdzie amerykańskiej i wybranych giełdach azjatyckich.

Dla zapewnienia porównywalności poszczególnych zmiennych wejściowych dane te powinny podlegać pewnej standaryzacji i normalizacji. W związku z powyższym zamiast bezpośrednich kursów akcji na wejście sieci neuronowej podaje się zwykle stopy zwrotu k_t zamiast bezpośredniej wartości kursu akcji definiowane wzorem

W równaniu tym $K_t$ oznacza kurs akcji dla $t$-tej sesji giełdowej wyrażony w złotych. W przypadku wolumenu obrotów akcjami danej spółki bierze się zwykle pod uwagę logarytm naturalny z tego wolumenu, czyli

gdzie $V_t$ oznacza wolumen obrotów akcjami spółki w trakcie trwania sesji $t$-tej, wyrażony w złotych.

W przypadku indeksu WIG bierze się pod uwagę logarytm z jego wartości lub stopę zmian tego indeksu w dwu kolejnych sesjach

W przypadku całkowitych obrotów zanotowanych w trakcie sesji giełdowych preferuje się logarytm wartości względnej definiowany w postaci

W wyrażeniu tym $O_t$ oznacza całkowite obroty giełdy w trakcie trwania $t$-tej sesji wyrażone w złotych.

Wielkość wyjściowa podlegająca predykcji może być ustalana w różny sposób. Najbardziej oczywistym jest bezpośrednie przewidywanie stopy zwrotu, czyli przyjęcie sygnału wyjściowego sieci neuronowej równego przewidywanej na następną sesję wartości stopu wzrostu, czyli

Przy znanej wartości wyjściowej $K_t$ wartość $y_t$ pozwala natychmiast określić spodziewaną stopę wzrostu akcji na następnej sesji.

Przykłady zastosowań sieci neuronowych w zadaniach biznesowych

Słownik opanowanych pojęć

Wykład 13

Dane biznesowe – wielkości związane z biznesem należące do trzech podstawowych grup: dane typu ilościowego, jakościowego oraz informacje pozyskiwane z instytucji zewnętrznych.

Inflacja – zjawisko monetarne wywołane szybszym przyrostem ilości pieniądza niż produkcji.

Stopa zwrotu akcji - wielkość definiowana w postaci $y_t=\ln \left(\frac{K_{t+1}}{K_t}\right)$, gdzie $K_t$ oznacza wartość akcji na $t$-tej sesji giełdowej.

WIG – Warszawski indeks giełdowy typu dochodowego, obejmujący akcje spółek notowanych na rynku podstawowym giełdy warszawskiej.

Zdolność kredytowa – zdolność kredytobiorcy, czyli podmiotu ubiegającego się o kredyt, do spłaty kwoty kredytu, rozumianego jako kapitał wraz z odsetkami w umownych terminach płatności.

Standard & Poor’s (S&P) – agencja ratingowa publikująca analizy i raporty dotyczące spółek akcyjnych, emitowanych przez nie obligacji, a także przeprowadzająca ratingi różnych podmiotów gospodarczych (spółki akcyjne, miasta, państwa) przyznając im oceny ratingowe w skali od „AAA” do „D”.

Bankructwo – procedura wszczynana w razie niewypłacalności dłużnika, polegająca głównie na wspólnym dochodzeniu roszczeń przez wszystkich jego wierzycieli (zwana również upadłością lub plajtą).

Rentowność przedsiębiorstwa – wskaźnik liczbowy wyrażany poprzez stosunek różnego rodzaju dochodów do innych danych finansowych.

Wiarygodność firmy – wielkość wyrażana przez takie wskaźniki jak stosunek płatności do należności i jego zmiana, stosunek płatności do aktualnych zobowiązań i jego zmiana, zmiana stosunku należności do bieżącego majątku firmy itp.

Ważnym elementem najnowszego podejścia do prognozowania jest jednoczesne użycie wielu sieci neuronowych, wykonujących to samo zadanie przy użyciu identycznego zbioru danych pomiarowych, z którego losuje się zbiór uczący dla każdego członka zespołu [36]. Przy użyciu niezależnych predyktorów działających w oparciu o różne zasady działania i zastosowania różniących się zbiorów uczących można spodziewać się niezależnych od siebie wyników predykcji. Oznacza to, że błędy predykcji popełnione przez poszczególne układy predykcyjne będą miały różne rozkłady. Stąd uwzględnienie wszystkich wyników na raz w jednym wspólnym układzie integrującym stwarza realną szansę na kompensację pewnych błędów i w efekcie polepszenie dokładności działania całego systemu predykcyjnego.

Wybór poszczególnych predyktorów powinien uwzględniać jak największe zróżnicowane sposobu działania każdego z nich, aby wyniki predykcji były jak najbardziej niezależne od siebie. Stosować można różne rodzaje predyktorów, w tym sieć perceptronu wielowarstwowego (MLP), sieć radialną RBF, sieć Support Vector Machine (SVM), sieci rekurencyjne oraz sieć Kohonena. Pierwsze trzy predyktory należą do sieci trenowanych z nauczycielem wykorzystując w swym działaniu własność uniwersalnego aproksymatora. Sieć Kohonena jest siecią samoorganizującą i działa poprzez grupowanie danych w przestrzeni wielowymiarowej. Spośród pierwszych trzech rodzajów sieci MLP wykorzystuje sigmoidalną funkcję aktywacji neuronów, realizując aproksymację globalną. Sieć SVM o jądrze gaussowskim jest typową siecią o działaniu lokalnym, natomiast sieci rekurencyjne Elmana lub LSTM są z natury sieciami typu rekurencyjnego o całkowicie odmiennym sposobie przetwarzania danych.

Powyższe rozwiązania należą do klasycznych układów płytkich (o małej liczbie parametrów). W ostatnich latach do grona rozwiązań dołączyły sieci głębokie, takie jak sieć rekurencyjna LSTM, liczne rozwiązania sieci konwolucyjnych CNN czy autoenkoder. Powstał w ten sposób szeroki wachlarz wyboru indywidualnych predyktorów, zwiększając prawdopodobieństwo niezależności wyników predykcji każdego z nich (podstawowy warunek poprawnego działania zespołu).

14.2.1 Model predykcji przy użyciu sieci jednokierunkowej z nauczycielem

Zastosowanie modeli płytkich wymaga oddzielnego etapu przygotowania atrybutów wejściowych dla sieci predykcyjnej (cech diagnostycznych procesu) na podstawie danych pomiarowych. Jest to bardzo ważny element rozwiązania decydujący o właściwym działaniu systemu. Ten etap rozwiązania może stosować bądź rozwiązanie eksperckie (wybór cech na podstawie wiedzy eksperta ludzkiego) bądź maszynowe, na przykład z zastosowaniem transformacji PCA lub autoenkodera.

Przyjmijmy, że predykcja dotyczyć będzie obciążenia $\hat{P}(d,h)$ w dniu $d$ i godzinie $h$. Proponowany model nieliniowy uzależnia prognozę od typu dnia (zmienna t), pory roku, (zmienna s), wybranej liczby rzeczywistych obciążeń z dni i godzin poprzednich  $\hat{P}(d-i,h-j)$ oraz od samych parametrów sieci neuronowej reprezentowanych przez wektor $\mathbf{w}$. Ogólna postać modelu może być wyrażona wzorem [46]

W równaniu tym $H$ i $D$ reprezentują odpowiednio liczbę godzin i dni wstecz branych pod uwagę w modelu (wielkości uzależnione od wiedzy eksperta). Typ dnia koduje się zwykle binarnie w postaci zero-jedynkowej. Pora roku w naszym klimacie może być zakodowana w postaci 2 bitów (każda kombinacja 0 i 1 oznacza jedną porę roku), $\hat{P}(d,h)$ reprezentuje wynik prognozy, natomiast $P(d-i,h-j)$ wartości rzeczywistych obciążeń z przeszłości. Wszystkie dane muszą być znormalizowane. Zwykle wystarczy każdą kolumnę danych (cechę prognostyczną) podzielić przez największą wartość z tej kolumny. W ten sposób wszystkie kolumny będą reprezentować dane zawarte w przedziale [0, 1]. Jeśli prognoza dotyczy małego obszaru (np. rejonu energetycznego) w modelu tym można dodać jeszcze zmienną temperaturową, pod warunkiem, że tego typu dane są dostępne.

W przyjętym tu modelu matematycznym celowo została pominięta temperatura, gdyż proponowany model prognozy dotyczy globalnych wielkości obciążenia w skali kraju. Przy dużej zmienności temperatury, zwłaszcza zimą, trudno byłoby ustalić jaką temperaturę należy przyjąć w obliczeniach. Można ją łatwo dołączyć do parametrów branych pod uwagę w prognozie dotyczącej małego obszaru kraju, np. małego rejonu energetycznego. Model matematyczny prognozy zostanie wówczas wzbogacony o dodatkową zmienną przy podobnym podejściu do samej prognozy.

Szczególna struktura zastosowanego predyktora zależy od aktualnie wybranej sieci. W przypadku MLP stosującej funkcję sigmoidalną neuronów wystarczy zwykle użycie co najwyżej dwu warstw ukrytych (najczęściej jedna warstwa ukryta wystarcza) [46]. Liczba wejść sieci zależy od zastosowanego modelu predykcji, natomiast liczba wyjść jest równa liczbie prognozowanych obciążeń godzinowych (w przypadku prognozy na 24 godziny naprzód jest to liczba 24).

W przypadku zastosowania sieci RBF jako predyktora stosowana jest tylko jedna warstwa ukryta o gaussowskiej funkcji aktywacji [24], przy czym liczba neuronów ukrytych, ze względu na lokalny charakter funkcji aktywacji, jest dużo większa niż w przypadku sieci MLP. Struktura wejścia i wyjścia takiej sieci jest identyczna jak w sieci MLP.

W przypadku sieci rekurencyjnej Elmana [46] stosuje się jedną warstwę ukrytą o sigmoidalnej funkcji aktywacji posiadającej sprzężenie zwrotne z wejściem sieci, co oznacza odpowiednie zwiększenie wymiaru wejściowego sieci. Liczba zewnętrznych wejść i wyjść sieci jest identyczna jak w MLP. Uczenie obu rodzajów sieci odbywa się poprzez minimalizację różnic między wartościami historycznymi (znanymi) obciążeń a ich predykcją przy pomocy algorytmów gradientowych, na podstawie bazy danych uczących dotyczących obciążeń z przeszłości. Najczęściej używanym algorytmem jest algorytm Levenberga-Marquardta (przy małej liczbie wag) lub gradientów sprzężonych (przy bardzo dużej liczbie wag).

Sieć SVM jest specyficzną strukturą sieciową o jednym neuronie wyjściowym [59]. Z tego powodu należy zastosować w rozwiązaniu 24 takie sieci zasilane tymi samymi sygnałami wejściowymi, każda specjalizująca się w prognozie na określoną godzinę doby. Najczęściej stosowaną funkcją jądra jest funkcja gaussowska [59]. Uczenie sieci SVM prowadzone na zbiorze danych uczących identycznych jak dla MLP jest wyjątkowo efektywne ze względu na sformułowanie problemu uczenia jako zadania programowania kwadratowego. Jest ono wielokrotnie szybsze niż w przypadku sieci MLP i Elmana.

W ogólności proces prognozowania obciążenia przy zastosowaniu sieci neuronowej trenowanej z nauczycielem składa się z następujących etapów:

• wybór danych uczących i składników wektorów wejściowych na podstawie których będzie dokonywana prognoza

• dobór rodzaju i architektury sieci neuronowej odpowiedzialnej za predykcję

• trening sieci neuronowej przy zastosowaniu wybranego algorytmu uczącego

• weryfikacja działania sieci na zbiorze danych weryfikujących i przeprowadzenie ewentualnie dalszego douczenia sieci

• użycie sieci jako predyktora obciążenia godzinnego w fazie odtworzeniowej (właściwy etap użytkowania)

• ewentualna adaptacja sieci po upływie pewnego okresu, na przykład roku.

14.2.2 Model predykcji przy użyciu sieci Kohonena

W przypadku zastosowania w prognozowaniu sieci Kohonena wykorzystuje się jej zdolność grupowania danych w przestrzeni wielowymiarowej [46]. Dla uniknięcia problemu zróżnicowania poziomu obciążeń w różnych latach należy przeprowadzić specjalną normalizację danych, transformującą obciążenia godzinowe rzeczywiste $P(d,h)$ w tak zwane profile obciążeń godzinowych $p(d,h)$ definiowane wzorem

P_m(d) oznacza wartość średnią obciążenia dnia $d$, natomiast $\sigma(d)$ jest odchyleniem standardowym obciążeń godzinowych tego dnia. Zbiór 24 profili godzinowych tworzy wektor profilu obciążenia dla dnia $d$,

definiowany dla każdego dnia roku. Sieć Kohonena jest trenowana w taki sposób, aby ograniczona liczba neuronów centralnych reprezentowała wektory profilowe z najmniejszym błędem kwantyzacji. W uczeniu wykorzystuje się algorytm Kohonena lub gazu neuronowego [46]. W wyniku tego każdy wektor profilowy z bazy danych jest przypisany do jednego wybranego neuronu zwycięzcy. Jest to neuron zwycięzca o wagach najlepiej dopasowanych do uśrednionych wag wektorów profilowych tworzących dany klaster. Reprezentuje on określoną klasę. Charakterystyczne jest, że sąsiednie wektory mają zbliżone charakterystyki profilowe. Na rys. 14.2 przedstawiono wektory profilowe 49 neuronów wytrenowanych na danych PSE z kilku ostatnich lat. Widoczne są bliskie sobie zgrupowania danych o podobnych wektorach profilowych. Potwierdza to znany w energetyce fakt podobnych profili obciążenia dla dni roboczych i zbliżone do siebie profile dla dni świątecznych.

Podobieństwo wag neuronów położonych blisko siebie jest zrozumiałe biorąc pod uwagę mechanizm sąsiedztwa w algorytmach samoorganizacji. Oznacza to, że ten sam dzień roku w różnych latach, przy drobnych różnicach w obciążeniach godzinnych, może pobudzać różne neurony położone blisko siebie i tworzące rodzaj klastrów, grupujących podobne sobie klasy.

Nanosząc wagi neuronów zwycięzców na płaszczyznę $(x, y)$ i przypisując każdemu z nich odpowiednie rodzaje dni, dla których zwyciężały, można zauważyć wspólne rejony obszaru charakterystyczne dla obciążeń świątecznych i osobno dla dni roboczych

Znajomość tablicy rozkładów zwycięstw poszczególnych neuronów sieci pozwala stosunkowo prosto przewidzieć profile obciążenia godzinnego dla dowolnego dnia roku z dowolnym wyprzedzeniem czasowym (znacznie ogólniejsza metoda predykcji w porównaniu z sieciami trenowanymi z nauczycielem). Przy predykcji profili tworzy się tablicę przynależności każdego dnia roku do obszaru dominacji określonego neuronu, z zaznaczeniem liczby zwycięstw neuronu dla wszystkich dni z przeszłości. Przykładowa tablica dotycząca wtorków w lipcu na przestrzeni ostatnich 5 lat przedstawiona jest poniżej (w symulacji użyto 100 neuronów, uporządkowanych w tablicy 10×10).

Tabela 14.4 BRAK PODPISU

Dla wyznaczenia przewidywanego profilu obciążenia aktualnego dnia (np. środa) w danym miesiącu (np. maju) przyjmuje się uśrednione wartości wag neuronów zwycięzców do których przynależał w przeszłości dany typ dnia. Jeśli liczbę zwycięstw i-tego neuronu odpowiadającą $d$-temu dniu oznaczymy w postaci $k_{di}$, a odpowiednie wektory wagowe klasy przez $\mathbf{w}_i$, to przewidywany wektor profilowy dnia $d$-tego estymuje się według wzoru [46]

w którym $k_{di} = 0$, jeśli określony neuron nigdy nie zwyciężył w danej klasyfikacji. Przykładowo dla danych przedstawionych w tabeli 14.1 wektor profilowy dla wszystkich śród w maju będzie określony wzorem

Po określeniu wektora profilowego rzeczywiste obciążenie odpowiadające poszczególnym godzinom danego dnia oblicza się na podstawie wzoru (14.2), który tutaj przepiszemy w postaci

We wzorze tym wielkości prognozowane oznaczone są symbolem $\hat{}$. Wynika z niego, że dla uzyskania pełnej prognozy należy dodatkowo dokonać predykcji wartości średniej i odchylenia standardowego dla każdego dnia, dla którego tworzona jest prognoza. Predykcja taka może być wykonana poprzez zastosowanie analizy statystycznej wartości średnich i wariancji z przeszłości bądź przy zastosowaniu specjalnej sieci perceptronowej wytrenowanej tylko do tego celu (oddzielna sieć jednowyjściowa dla predykcji wartości średniej i oddzielana dla wariancji).

Predykcja wartości średniej i odchylenia standardowego dla konkretnego dnia przy zastosowaniu sieci MLP odbywa się w identyczny sposób jak prognoza obciążenia 24-godzinnego, z tym, że tym razem sieć ma jeden neuron wyjściowy, którego sygnał oznacza bądź wartość średnią bądź odchylenie standardowe (w zależności od prognozowanej zmiennej) prognozowane na następny dzień [46]. Wielkości wejściowe dla takich sieci są analogiczne jak dla obciążeń 24-godzinnych, z tym, że zmienne historyczne dotyczą wielkości prognozowanych (wartości średniej bądź odchylenia standardowego).

14.2.3 Prognozowanie z zastosowaniem sieci LSTM

Sieć LSTM wykorzystuje w predykcji informacje o powiązaniu sygnałów podlegających prognozie z wartościami z najbliższej przeszłości [47]. Na tej podstawie dokonywana jest prognoza. Biorąc pod uwagę ciągłość zmian szeregu czasowego reprezentującego wielkości obciążeń godzinnych sieć taka jest z natury działania dobrze przystosowana do zadania predykcji. Wielkości wejściowe sieci zawierają składowe 24-wymiarowego znanego wzorca obciążeń x(d-1) z dnia poprzedzającego predykcję. W przypadku znanych danych temperaturowych możliwe jest zwiększenie tego wymiaru poprzez dołączenie ich do wektora wejściowego.

Na etapie uczenia wektor wejściowy jest skojarzony z wektorem x(d) zadanym na wyjściu dla dnia podlegającego predykcji, tworząc parę uczącą $(\mathbf{x}(d-1), \mathbf{x}(d))$ używaną w procesie uczenia sieci. Hiperparametry sieci (liczba komórek LSTM, wybór algorytmu uczącego, liczba cykli uczących, próg gradientu kończący uczenie, wartości wstępne współczynnika uczenia, itp.) są ustalane przez użytkownika przy zastosowaniu wstępnego uczenia na danych spoza zbioru uczącego.

Po wytrenowaniu sieci i zamrożeniu wartości parametrów sieć poddaje się testowaniu na danych nie uczestniczących w uczeniu. W procesie tworzenia wektora wyjściowego $\mathbf{y}(d)$ dla dnia $d$ na wejście sieci podawany jest wektor znanych wartości z dnia poprzedniego $\mathbf{x}(d-1)$ i na tej podstawie przy znanych parametrach sieci tworzona jest aktualna prognoza.

Analizując rozkłady obciążeń rocznych można łatwo zauważyć znaczące różnice w nietypowych okresach roku, na przykład w okresie Bożego Narodzenia i Nowego Roku. Dla takiego okresu należy stworzyć oddzielny model, generujący prognozę wyłącznie dla tego okresu. Problemem w tym przypadku jest bardzo mała populacja danych, które mogą być użyte w uczeniu (od tego zależy zdolność generalizacji modelu). Przykłady zastosowania sieci LSTM oraz zespołu zbudowanego z tych sieci można znaleźć w pracach [47].

Każdy z zastosowanych predyktorów neuronowych wykonuje identyczne zadanie predykcji szeregu liczbowego odpowiadającego przewidywanym obciążeniom 24 godzin dnia następnego przy wykorzystaniu tej samej bazy danych obciążeń z przeszłości. Wyjściem każdego z nich jest 24-elementowy wektor x przewidywanych obciążeń. Na ich podstawie integrator (rys. 14.3) ma za zadanie wytworzyć ostateczną postać tego 24-godzinnego wzorca obciążeń na dzień następny, najlepiej odzwierciedlającego przyszłe zapotrzebowanie na moc [47].

W pracy przedstawimy różne elementy przetwarzania danych w integracji, w tym uśrednianie ważone, ślepą separację sygnałów, zastosowanie dodatkowej sieci neuronowej jako integratora, czy integrację dynamiczną.

14.3.1 Integracja poprzez uśrednianie ważone

Integracja poprzez uśrednianie polega na przyjęciu prognozy końcowej jako średniej z wyników wszystkich predyktorów tworzących zespół. Zwykłe uśrednianie prowadzi do poprawy wyników, jeśli wszystkie modele indywidualne mają porównywaną dokładność, co jest w praktyce zjawiskiem rzadkim. W efekcie wynik zespołu może być gorszy niż najlepszy wynik indywidualny.

W przypadku nierównej jakości poszczególnych klasyfikatorów dużo lepsze wyniki uzyskuje się poprzez uśrednianie ważone dla każdej godziny podlegającej predykcji. W tym rozwiązaniu przy $M$ predyktorach tworzących zespół określa się wielkość wyjściową zespołu $y_i(\mathbf{x})$ dla $i$-tej godziny jako średnia ważoną wyników predyktorów indywidualnych dla tej godziny

w którym $w_{ki}$ jest wagą z jaką $k$-ty klasyfikator jest uwzględniany przy predykcji obciążenia dla $i$-tej godziny, natomiast $x_{ki}$ jest wartością predykcji $k$-tego predyktora dla $i$-tej godziny (sygnał $i$-tego wyjścia predyktora).

Wartości wag $w_{ki}$ mogą być wyznaczane w różny sposób, uwzględniający jakość poszczególnych członków zespołu. Do typowych rozwiązań należy

gdzie $\eta_{k i}^m$ oznacza wskaźnik jakości (np. dokładność w sensie MAPE, MAE, RMSE) $k$-tego predyktora przy prognozie obciążenia dla $i$-tej godziny na danych uczących, $m$ – wykładnik różnicujący wpływ poszczególnych jednostek zespołu na wynik działania zespołu (np. $m = 1, 2, \ldots$). Można zastosować również w integracji zespołu wzór wykorzystujący funkcję logarytmiczną [36]

14.3.2 Integracja przy zastosowaniu BSS

W integracji zespołu wykorzystującej metodę ślepej separacji sygnałów (BSS) [8] wszystkie 24-elementowe wektory $\mathbf{x}_i$ prognozowane przez członków zespołu dla kolejnych $q$ dni użytych w uczeniu (wytworzone przez poszczególne sieci neuronowe) tworzą dane uczące opisane macierzą $\mathbf{X} \subset \mathbf{R}^{M \times p}$, w której $p=24q$ natomiast $M$ jest liczbą predyktorów. Sygnały opisane tą macierzą podlegają ślepej separacji mającej na celu określenie $M$ składników niezależnych. Operację BSS opisuje zależność liniowa [48]

w której $\mathbf{W}$ jest macierzą kwadratową o wymiarze $M$, $\mathbf{W} \subset \mathbf{R}^{M \times M}$. Każdy wiersz macierzy $\mathbf{Y}$ reprezentuje składniki niezależne rozkładu macierzy $\mathbf{X}$. Część z tych składników zawiera istotną informację dotyczącą rozkładu obciążeń, natomiast pozostała część może reprezentować nieregularności występujące w rozkładach dziennych obciążeń (na przykład wynik gwałtownych zaburzeń pogodowych, nieoczekiwanych wydarzeń wpływających na pobór mocy itp.), które są traktowane jako szum pomiarowy. Eliminacja składników szumowych „odkrywa” istotne elementy informacji i umożliwia odtworzenie wektora prognozowanych obciążeń pozbawionego wpływu tych nieregularności. Rekonstrukcja macierzy $\mathbf{X}$ (tzw. deflacja) na podstawie jedynie istotnych składników odbywa się według wzoru

W równaniu tym $\hat{\mathbf{X}}$ oznacza zrekonstruowaną macierz $\mathbf{X}$ a $\hat{\mathbf{Y}}$ - macierz $\mathbf{Y}$ zmodyfikowaną w ten sposób, że wiersze odpowiadające składnikom szumowym zostały zastąpione przez zera. Problemem jest wybór tych składników „szumowych” (podlegających eliminacji). W praktyce przy wystąpieniu wątpliwości można stworzyć wiele rekonstrukcji sygnałów pomijając różne składniki traktowane jako szumowe, wybierając ostatecznie to rozwiązanie, które zapewnia najlepsze wyniki na danych uczących. W wyniku takiej rekonstrukcji odtworzone zostają wszystkie $M$ kanały predykcji. Ostateczna integracja przeprowadzona na przykład metodą uśredniania ważonego dotyczyć będzie tych zrekonstruowanych prognoz. Ogólny schemat postępowania w tej metodzie zilustrowano na rys. 14.4. Klucze reprezentują włączenie bądź wyłączenie danego składnika niezależnego z procesu rekonstrukcji.

Problemem w tej metodzie pozostaje oczywiście rozpoznanie, które składniki niezależne należy traktować jako nieistotne. Niekiedy z obserwacji przebiegu czasowego składników niezależnych można z dużą dozą prawdopodobieństwa rozpoznać powtarzalne wzorce odpowiadające składnikom istotnym rozkładu. Najlepszym sposobem potwierdzenia tego jest określenie macierzy autokorelacji odpowiadającej każdemu z tych składników. Szum jest zwykle nieskorelowany (bądź słabo skorelowany), co przejawia się poziomem współczynnika korelacji bliskim zeru dla opóźnień różnych od zera.

Sytuację taką przy trzech składnikach niezależnych dla kolejnych opóźnień odpowiadających 8600 godzinom (dla PSE) w roku przedstawiono na rys. 14.5. Składnik pierwszy reprezentuje najważniejszy sygnał użyteczny. Składnik drugi odpowiada typowemu szumowi natomiast w składniku trzecim poza szumem można również wyodrębnić również niewielką zawartość istotnej informacji.

14.3.3 Integracja przy użyciu sieci neuronowej

Innym sposobem integracji wyników wielu predyktorów jest zastosowanie jako integratora dodatkowej sieci neuronowej. W metodzie tej wektory 24-elementowe wygenerowane przez poszczególne predyktory łączone są w jeden wektor wejściowy $\mathbf{z}=\left[\begin{array}{llll} \mathbf{x}_1^T, & \mathbf{x}_2^T, & \ldots, & \mathbf{x}_M^T \end{array}\right]^T$. Przy M predyktorach wymiar takiego wektora jest równy 24M. Pierwszym krokiem tej procedury musi być redukcja wymiaru takiego wektora. Jest ona dokonywana poprzez dekompozycję PCA [46], stanowiącą transformację liniową $\mathbf{y}=\mathbf{Az}$, w której macierz $\mathbf{A} \subset R^{K \times 24 M}$ jest tworzona na podstawie najważniejszych wektorów własnych macierzy autokowariancji odpowiadającej wektorom z. W wyniku tej dekompozycji wektor y zawiera jedynie wybraną przez użytkownika liczbę $K$ składników głównych, które stanowić będą sygnały wejściowe dla sieci neuronowej stanowiącej integrator. Może nim być dowolna sieć neuronowa z nauczycielem (np. MLP lub SVM). Schemat integracji przy wykorzystaniu tej metody przedstawiony jest na rys. 14.6 [48].

W wyniku badań stwierdzono, że zarówno sieć MLP jak i SVM dobrze sprawdzają się w roli integratora ze względu na efektywny algorytm uczący i dobrą skuteczność tego typu sieci, znacznie przewyższającą pozostałe rozwiązania.

14.3.4 Integracja dynamiczna zespołu

Integracja dynamiczna zespołu zakłada zasadniczo inną filozofię działania [47]. W zespole składającym się z $M$ predyktorów wybiera się ten, który najlepiej sprawdził się na uczących danych wejściowych $\mathbf{x}_l$ najbliższych danym testującym $\mathbf{x}_t$ i on generuje ostateczną prognozę zespołu. Bliskość wektorów określa się przy pomocy wybranej przez użytkownika metryki, na przykład L1, czy L2, obliczając normę różnicy wektorów, najczęściej L1

Predyktor który zapewniał najmniejszą wartość błędu prognozy w procesie uczenia dla tego wektora $\mathbf{x}_l$ jest wybierany z grona $M$ indywidualnych rozwiązań do wykonania ostatecznej prognozy przy wektorze testowym $\mathbf{x}_t$. W efekcie takiego rozwiązania dla każdego wektora testowego $\mathbf{x}_t$ wybór ostatecznego predyktora może być różny. W przypadku wyników uczenia dla wektora $\mathbf{x}_l$ które są bliskie sobie dla kilku rodzajów predyktorów można zastosować większą liczbę predyktorów i połączyć ich wyniki na wektorze $\mathbf{x}_t$ metodą uśredniania.

W tym punkcie przedstawimy wybrane wyniki eksperymentów przeprowadzone dla danych pochodzących z bazy Polskich Sieci Elektroenergetycznych z trzech lat (ponad 26280 godzin). Pierwsze dwa lata zostały użyte w uczeniu wszystkich sieci, natomiast dane z roku trzeciego posłużyły jedynie testowaniu poszczególnych rozwiązań. W rozwiązaniu zastosowano cztery rodzaje rozwiązań: MLP, Elmana, SVM do regresji oraz sieć Kohonena.

W pierwszym etapie badań konieczne jest zaprojektowanie oraz wytrenowanie indywidualnych predyktorów neuronowych. W przypadku sieci sigmoidalnej MLP w wyniku wielu eksperymentów za optymalną uznano strukturę 23-20-19-24 wytrenowaną przy użyciu algorytmu gradientów sprzężonych. Sygnałami wejściowymi dla tej sieci były znormalizowane wartości obciążeń z ostatnich 4 godzin dnia aktualnego oraz 5 godzin (godzina aktualna plus 4 godziny wstecz) z 3 dni poprzedzających prognozę (w sumie 19 składników). Typ dnia zakodowano w postaci 2 bitów (11 – dni robocze, 10 – soboty, 01 – piątki, 00 – święta) podobnie jak porę roku (00 – wiosna, 01 - lato, 10 – jesień, 11 – zima). Każdy neuron wyjściowy reprezentował prognozowane obciążenie o określonej godzinie doby. Ze względu na rozbudowaną strukturę sieci w uczeniu zastosowano metodę gradientów sprzężonych.

Sieć Elmana miała identyczną warstwę wejściową i wyjściową jak MLP. Liczba neuronów ukrytych została ustalona na 8, stąd struktura tej sieci może być zapisana w postaci 23-8-24. W uczeniu tej sieci wykorzystano algorytm Levenberga-Marquardta.

Sygnały wejściowe dla sieci SVM były identyczne jak dla sieci MLP (23 węzły wejściowe). Ze względu na specyfikę sieci SVM należało zastosować równolegle 24 sieci, każda wytrenowana do predykcji obciążenia na określoną godzinę doby. W uczeniu zastosowano zmodyfikowany algorytm programowania sekwencyjnego [51], zaimplementowany na platformie Matlaba [43]. Liczba funkcji jądra (odpowiednik liczby neuronów ukrytych) była każdorazowo dobierana automatycznie przez algorytm uczący przy poziomie wartości tolerancji ε=0.01.

W przypadku zastosowania sieci Kohonena zastosowano 100 neuronów trenowanych za pośrednictwem algorytmu gazu neuronowego na zbiorze uczącym utworzonym z profili zgodnie ze wzorem (14.2). Po wytrenowaniu i zamrożeniu wag nastąpiła analiza sieci, przypisująca zwycięzcę każdemu profilowi wektorowemu dnia. Wyniki testowania były zapisywane w bazie danych. Na etapie rzeczywistego prognozowania wektora profilowego obciążenia na dzień następny odczytuje się z tej bazy zwycięzców odpowiadających temu typowi dnia (np. czwartki miesiąca lipca) i na tej podstawie estymuje się wektor profilowy według wzoru (14.4). Wartości średnie obciążenia prognozowanego dnia i odchylenia standardowe otrzymano z sieci MLP wytrenowanej do tego celu. W przypadku predykcji wartości średnich zastosowano sieć MLP o strukturze 10-6-1 a w przypadku odchylenia standardowego 14-8-1.

Wyniki prognozy dla poszczególnych godzin były porównywane z wartościami rzeczywistymi dotyczącymi danych historycznych. Przy oznaczeniu przez  $P(h)$ i $\hat{P}(h)$ obciążenia odpowiednio rzeczywistego i estymowanego w godzinie h zdefiniowano następujące rodzaje błędów [65].

• Średni względny błąd procentowy (MAPE)

• Błąd średni predykcji (MSE)

• Znormalizowany błąd średni predykcji (NMSE)

gdzie $mean(P)$ jest wartością średnią rzeczywistych obciążeń godzinnych podlegających predykcji.

• Maksymalny błąd średni procentowy (MAXPE)

Powyższe błędy są określane zarówno dla danych uczących jak I weryfikujących (testujących) nie uczestniczących w procesie uczenia. W dalszej części pracy ograniczymy się wyłącznie do błędów testowania na danych nie uczestniczących w uczeniu. Tabela 14.5 przedstawia wartości zdefiniowanych wyżej rodzajów błędów prognozy dla 365 dni roku nie uczestniczącego w uczeniu dla czterech rodzajów sieci zastosowanych jako predyktory (MP – sieć perceptronowa, SVM – sieć SVM, Elman – sieć Elmana, SO – sieć Kohonena).

Tabela 14.5. Błędy predykcji obciążeń w PSE dla danych z jednego roku nie uczestniczących w uczeniu dla 4 indywidualnych predyktorów neuronowych

Wyniki wskazują na sieć MLP jako najlepszy predyktor. Dotyczy to wszystkich kategorii błędów. Następnie wyniki indywidualnych predyktorów zostały zintegrowane przy użyciu 2 różnych metod integracji: BSS oraz sieci neuronowej. Wyniki integracji w postaci zestawienia poszczególnych rodzajów błędów są przedstawione w tabeli 14.6. W przypadku integracji neuronowej zbadano zastosowanie dwu rodzajów sieci: SVM oraz MLP. W przypadku zastosowania BSS do odtworzenia prognozy końcowej zastosowano jedynie 2 składniki niezależne wyselekcjonowane metoda prób i błędów z 4 występujących w rozkładzie.

Tabela 14.6. Błędy predykcji obciążeń w PSE dla zespołu predyktorów neuronowych dla danych z roku nie uczestniczących w uczeniu

Uzyskane wyniki wskazują na bardzo wysoką sprawność zespołu predyktorów w stosunku do pojedynczej sieci. Porównując poszczególne rodzaje błędów uzyskane przy użyciu najlepszej metody integracji (integracja neuronowa pry użyciu SVM) w stosunku do najlepszej sieci indywidualnej (MLP) uzyskano redukcję błędu MAPE o 28%, MSE o 46% i MAXPE o 36%. Na rys. 14.7 przedstawiono wykresy przewidywanych i rzeczywistych obciążeń godzinnych dla 1100 godzin w roku na danych nie uczestniczących w uczeniu (linia ciągła – dane rzeczywiste, linia przerywana – wielkości prognozowane). Widać bardzo dobra zgodność prognozy z wartościami rzeczywistymi.

Rys. 14.8 przedstawia rozkład błędów prognozy dla 4300 godzin poddanych prognozie (dane te nie uczestniczyły w uczeniu sieci). Dotyczą one historii obciążeń PSE z dwu różnych lat (2006 i 2007). Charakterystyczny jest zbliżony do siebie poziom błędów prognozy dla poszczególnych godzin. Tylko w niewielkiej ilości godzin błąd ten odstaje od wartości średnich.

Wyniki badań symulacyjnych na danych rzeczywistych z PSE pokazały, że obie metody integracji (BSS lub sieć neuronowa) dobrze sprawują się w praktyce, choć nieco lepsze wyniki uzyskano przy użyciu nieliniowego integratora neuronowego w postaci sieci SVM. Przy zastosowaniu tej techniki uzyskano redukcję błędu MAPE o prawie 30%, błędu MSE o prawie 50% i maksymalnego błędu procentowego MAXPE o ponad 35%. Nie oznacza to jednak wcale, że przy innych zadaniach prognostycznych integracja neuronowa zawsze będzie lepsza niż przy zastosowaniu BSS.