Podręcznik

2. Metody oceny jakości rozwiązań

2.1. Miary jakości regresji

W zadaniu regresji odpowiedź modelu określa wartość jego odpowiedzi na wymuszenie w postaci atrybutów wejściowych i jest wyrażona w postaci rzeczywisto-liczbowej. Dokładność modelu stanowi podstawowe kryterium, na podstawie którego jest oceniana jego przydatność.

Dla twórcy algorytmu prognozowania dokładność regresji określa, na ile dany model predykcyjny odtwarza poprawnie dane, które są już znane konstruktorowi. Dla użytkownika systemu prognostycznego istotne jest, na ile wiarygodna jest prognoza i czy spełni ona w przyszłości założone kryteria dokładnościowe. Miary dokładności regresji, obliczane są niejako po fakcie, to znaczy najpierw wyliczana jest prognoza, a później dokonywana jej ocena w oparciu o napływające dane rzeczywiste (dokładne). Stąd należą one do miar klasy ex post.

Załóżmy, że dla każdego rekordu danych dostępne są estymowane odpowiedzi modelu oznaczone przez $y_i$ oraz znane wartości dokładne oznaczone symbolem $d_i$ dla $i = 1, 2, \ldots, n$ , gdzie $n$ oznacza liczbę rekordów. Chwilowy błąd estymacji jest różnicą między wartością estymowaną a wartością dokładną

$e_i=d_i-y_i$

(12.1)

Miara jakości modelu jest związana zwykle ze statystyką błędu estymacji. Wyróżnia się różne definicje błędów statystycznych. Do najbardziej popularnych należą [49]:

błąd średni absolutny (ang. Mean Absolute Error - $\operatorname{MAE}$ )

$\operatorname{MAE} =\frac{1}{n}\left(\sum_{i=1}^n\left|d_i-y_i\right|\right)$

(12.2)

względny błąd średni absolutny (ang. Mean Absolute Percentage Error - $\operatorname{ MAPE }$ )

$\operatorname{ MAPE }=\frac{1}{n}\left(\sum_{i=1}^n \frac{\left|d_i-y_i\right|}{\left|d_i\right|}\right) \cdot 100 \%$

(12.3)

Błąd MAPE jest najbardziej reprezentatywnym rodzajem oceny jakości regresji, niezależnym od wartości absolutnych ciągu poddanego regresji, stąd najczęściej stosowanym w praktyce. W przypadku, gdy część wartości zadanych $d_i = 0$ miara powyższa staje się równa nieskończoności, przez co staje się bezużyteczna. W takim przypadku przyjmuje się miarę uproszczoną w postaci wyrażonej poprzez normy wektorowe

$\operatorname{MAPE} \simeq \frac{\|d-y\|}{\|d\|} \cdot 100 \%$

(12.4)

gdzie $\mathbf{d}$ , $\mathbf{y}$ oznaczają formę wektorową zbioru wartości, odpowiednio zadanych i estymowanych.

błąd średniokwadratowy (ang. Root Mean Squared Error - $\operatorname{RMSE}$ )

$\operatorname{RMSE}=\sqrt{\frac{1}{n} \sum_{i=1}^n\left|d_i-y_i\right|^2}$

(12.5)

błąd maksymalny (ang. Maximum Error - $\operatorname{MAXE}$ )

$\operatorname{MAXE} =\max _i\left|d_i-y_i\right|$

(12.6)

błąd maksymalny procentowy (ang. Maximum Percentage Error - $\operatorname{MAXPE}$ )

$\operatorname{MAXPE} =\max _i \frac{\left|d_i-y_i\right|}{\left|d_i\right|}$

(12.7)

W wielu zastosowaniach ważną rolę odgrywa miara korelacyjna między wartościami estymowanymi i rzeczywistymi zdefiniowana w postaci współczynnika korelacji

miara korelacyjna

$R=\frac{R_{y d}}{\operatorname{std}(y) \operatorname{std}(d)}$

(12.8)

We wzorze tym $R_{yd}$ oznacza kowariancję między obu ciągami wartości, a $\operatorname{std}$ jest oznaczeniem odchylenia standardowego. Im większa wartość miary korelacji tym lepsza jest jakość predyktora.

Niezależnie od zastosowanej miary jakości regresji ważnym czynnikiem oceny zastosowanego algorytmu jest porównanie osiągniętych wyników z wynikami predyktora naiwnego. Za najprostszy predyktor naiwny uznaje się ekstrapolator zerowego rzędu, przyjmujący jako prognozę wartość znaną dokładnie (element wektora $\mathbf{d}$ ) z poprzedniego kroku, czyli $y_i = d_{i-1}$ . Ograniczając się do miary $\operatorname{MAPE}$ błąd naiwnej prognozy będzie wyrażony wzorem

$\operatorname{MAPE}_{n p}=\frac{1}{n-1}\left(\sum_{i=2}^n \frac{\left|d_i-d_{i-1}\right|}{\left|d_i\right|}\right) \cdot 100 \%$

(12.9)

Różnica między błędem metody naiwnej $\operatorname{MAPE}_{n p}$ i błędem $\operatorname{MAPE}$ odpowiadającym badanej (z definicji bardziej złożonej) metodzie

$\Delta=\operatorname{MAPE}_{np}-\operatorname{MAPE}$

(12.10)

stanowi miarę pozwalająca ocenić i porównać skuteczność zastosowanej metody regresji. Inną miarą oceniającą jakość testowanej metody regresji względem metody naiwnej jest współczynnik Theila [49], porównujący względną wartość błędu średniego badanej metody z odpowiadająca mu wartością błędu prognozy naiwnej. Jest on zdefiniowany wzorem

$U=\sqrt{\frac{\sum_{i=1}^{n-1}\left(\frac{y_i-d_i}{d_i}\right)^2}{\sum_{i=1}^{n-1}\left(\frac{d_{i+1}-d_i}{d_i}\right)^2}}$

(12.11)

Współczynnik ten jest równy zeru tylko wtedy, gdy zastosowana prognoza jest idealna, czyli gdy $y_i = d_i$ . W przypadku niezgodności regresji i wartości rzeczywistych wartość tego współczynnika staje się równa $1$ tylko wtedy, gdy różnice między wynikami zastosowanej metody regresji i metody naiwnej są równe zeru. Oznacza to, że obie metody stanowią równie dobre podejścia do prognozowania. Jeśli $U < 1$ wówczas metoda badana jest lepsza niż podejście naiwne. W przeciwnym przypadku metoda naiwna jest lepsza i nie ma potrzeby stosowania bardziej złożonej metody regresji.