Podręcznik

Analiza składników głównych PCA jest metodą statystyczną określającą przekształcenie liniowe $\mathbf{y} = \mathbf{Wx}$ transformujące opis stacjonarnego procesu stochastycznego dany w postaci zbioru N-wymiarowych wektorów $\mathbf{x}$ w zbiór wektorów $\mathbf{y}$ o zredukowanej wymiarowości $K \le N$ [13,46]. Przekształcenie to odbywa się za pośrednictwem macierzy $\mathbf{W}$ o wymiarach $K \times N$ w taki sposób, że przestrzeń wyjściowa o zredukowanym wymiarze zachowuje najważniejsze informacje dotyczące procesu. Innymi słowy, transformacja PCA zamienia dużą ilość informacji zawartej we wzajemnie skorelowanych danych wejściowych w zbiór statystycznie niezależnych składników, według ich ważności. Stanowi zatem formę kompresji stratnej, znanej w teorii komunikacji jako transformacja Karhunena--Loeve.

Dla zachowania maksimum informacji oryginalnej w zbiorze wektorów $\mathbf{y}$ o zredukowanym wymiarze macierz transformacji $\mathbf{W}$ powinna być dobrana w taki sposób, aby zmaksymalizować wartość wyznacznika $J$ [49]

W wyrażeniu tym $\mathbf{R}_{\mathbf{xx}}$ oznacza macierz kowariancji wektorów $\mathbf{x}$ (przy zerowych wartościach średnich zbioru $x$ macierz kowariancji jest równa macierzy korelacji). W praktyce centrowanie wektorów nie jest konieczne i można posługiwać się macierzą korelacji, niezależnie od zerowania się wartości średnich. Rozwiązanie powyższego problemu optymalizacyjnego uzyskuje się na podstawie rozkładu macierzy kowariancji zbioru wektorów $\mathbf{x}$ według wartości własnych.

Przyjmijmy, że $\mathbf{x} = [x_1, x_2, \ldots, x_N]^T$ oznacza wektor losowy o zerowej wartości średniej, a $\mathbf{R}_{\mathbf{xx}} = E[\mathbf{xx}]^T$ oznacza wartość oczekiwaną (średnią) macierzy autokorelacji (autokowariancji) po wszystkich wektorach $\mathbf{x}$. Macierz tę, przy skończonej liczbie $p$ wektorów $\mathbf{x}$, można estymować przy pomocy zależności

gdzie macierz danych $\mathbf{X}$ tworzą kolejne wektory uczące $\mathbf{X} = [\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_p]^T$. Oznaczmy przez $\lambda_i$ wartości własne macierzy autokorelacji $\mathbf{R_{xx}}$, a przez $\mathbf{w}_i$ ortogonalne wektory wartości własnych, skojarzone z nimi, przy czym $\mathbf{w} = [w_{i1}, w_{i2}, , \ldots, w_{iN}]^T$. Wartości własne oraz wektory własne macierzy $\mathbf{R_{xx}}$ powiązane są zależnością

dla $i=1, 2, …, N$. Wartości własne symetrycznej, nieujemnie określonej macierzy korelacji $\mathbf{R_{xx}}$ są rzeczywiste i nieujemne. Uporządkujmy je w kolejności malejącej poczynając od wartości największej $\lambda_1 > \lambda_2 > \ldots \lambda_N \ge 0$. W identycznej kolejności ustawimy wektory własne $\mathbf{w}_i$ skojarzone z odpowiednimi wartościami własnymi $\lambda_i$. Przy ograniczeniu się do $K$ największych wartości własnych macierz $\mathbf{W}$ przekształcenia PCA definiuje się w postaci

Macierz ta określa transformację PCA jako przekształcenie liniowe

Wektor y =[y₁, y₂,…, y_K]^T stanowi wektor składników głównych PCA, mających największy wpływ na rekonstrukcję oryginalnego wektora danych x =[x₁, x₂,…, x_N]^T. Transformacja PCA jest więc ściśle związana z rozkładem macierzy korelacji według wartości własnych. Uwzględnia zatem jedynie powiązania liniowe między wektorami danych.

Oznaczmy przez $\mathbf{L}$ macierz diagonalną utworzoną z wartości własnych $\lambda_i$ uwzględnionych w odwzorowaniu, to jest $\mathbf{L}  = diag\{ {\lambda_1, \lambda_2, \ldots, \lambda_K}\}$. Przy takich oznaczeniach macierz korelacji można przedstawić w postaci zdekomponowanej

gdzie znak przybliżenia wynika z uwzględnienia skończonej liczby (mniejszej niż wymiar macierzy korelacji) składników głównych. Przy $K=N$ zależność (8.6) będzie spełniona ze znakiem równości. Uwzględniając symetrię macierzy korelacji zależność tę można jednocześnie przedstawić w postaci

Z punktu widzenia statystycznego transformacja PCA określa zbiór $K$ wektorów ortogonalnych (kolejne wiersze macierzy $\mathbf{W}$), mających największy wkład w wariancję danych wejściowych. Pierwszy składnik główny odpowiadający wektorowi $\mathbf{x}$ jest równy iloczynowi skalarnemu wektora własnego $\mathbf{w}_1$ i wektora wejściowego $\mathbf{x}$ 

Wektor własny $\mathbf{w}_1$ określa zatem kierunek w przestrzeni wielowymiarowej w którym występuje największa wariancja (zmienność wartości) danych wejściowych zawartych w wektorach $\mathbf{x}$. Wariancja ta jest równa wartości własnej $\lambda_1$

Celem transformacji PCA jest określenie kierunków $\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_K$ (zwanych kierunkami głównymi) w taki sposób, aby zmaksymalizować wielkość iloczynu skalarnego $\mathbf{E} (\mathbf{w}_i^T\mathbf{x})$ dla kolejnych wartości $i=1, 2, …, K$ przy spełnieniu warunku ortogonalności kolejnych wektorów $\mathbf{w}$ ze sobą, to jest $\mathbf{w}_i^T \mathbf{w}_j = 0$ oraz $\mathbf{w}_i^T \mathbf{w}_i = 1$ .

Rekonstrukcja wektora $\mathbf{x}$ na podstawie znajomości wektora składników głównych $\mathbf{y}$ oraz macierzy ortogonalnej $\mathbf{W}$ przekształcenia PCA odbywa się zgodnie z zależnością [46]

Macierz $\mathbf{W}$ dekompozycji PCA i macierz rekonstrukcji ($\mathbf{W}^T$) stanowią wzajemne transpozycje. PCA minimalizuje wartość oczekiwaną błędu rekonstrukcji danych, przy czym błąd ten określony jest wzorem ogólnym

Przy ograniczeniu się do $K$ największych wartości własnych ($K$ składników głównych), błąd ten jest proporcjonalny do sumy odrzuconych wartości własnych $\sum_{i=K+1}^N \lambda_i$.

Ze wzoru tego wynika, że minimalizacja błędu rekonstrukcji danych przy uwzględnieniu $K$ składników jest równoważna maksymalizacji wariancji rzutowania $\varepsilon_v$ na etapie rozkładu PCA

Zarówno $\varepsilon_r$, jak i $\varepsilon_v$ są nieujemne, gdyż wszystkie wartości własne macierzy korelacji, jako macierzy symetrycznej i nieujemnie określonej, są dodatnie bądź zerowe. Wnosimy stąd, że reprezentacja wektora danych $\mathbf{x}$ przez największe składniki główne $y_1, y_2, \ldots, y_K$ tworzące wektor $\mathbf{y}$ jest równoważna zachowaniu informacji o największej porcji energii zawartej w zbiorze danych.

Pierwszy (największy) składnik główny powiązany z $\lambda_1$ przez swój wektor własny $\mathbf{w}_1$ określa kierunek w przestrzeni wielowymiarowej, w którym wariancja danych jest maksymalna. Ostatni najmniejszy składnik główny (ang. Minor Principal Component) wskazuje kierunek, w którym wariancja jest najmniejsza. Na rys. 8.1 przedstawiono interpretację geometryczną najbardziej znaczącego i najmniej znaczącego składnika głównego transformacji PCA dla danych 2-wymiarowych. Pierwszy składnik główny odpowiada kierunkowi największej zmienności mierzonej poprzez wariancję (energię) sygnałów. Dokonując reprezentacji danych tylko za pomocą jednego składnika głównego oraz skojarzonego z nim wektora własnego i wybierając jako reprezentanta największy ze składników głównych ($y_1$), popełnia się najmniejszy błąd rekonstrukcji, maksymalizując jednocześnie wariancję transformacji. Najmniej znaczący składnik główny ma najmniejszy wpływ na dokładność odtworzenia danych. Stąd kompresja danych (zmniejszenie ilości informacji z najmniejszą stratą dla rekonstrukcji) wymaga reprezentowania tych danych przez zbiór największych składników głównych. Pominięcie składników najmniejszych ma najmniej znaczący wpływ na dokładność rekonstrukcji danych.

Transformacja PCA jest ściśle związana z korelacją zachodzącą między wieloma zmiennymi w zbiorze danych. Jeśli te zmienne są skorelowane ze sobą, to znajomość jedynie części z nich wystarczy do określenia pozostałych. Stąd taki zbiór danych może być reprezentowany przez mniejszą liczbę zmiennych. W przypadku gdy nie występuje korelacja między zmiennymi tworzącymi wektor x, predykcja części z nich na podstawie pozostałych jest niemożliwa.

8.1.2 Przykład zastosowania PCA w ekonomii

Jako przykład ilustrujący właściwości rozkładu danych na składniki główne rozpatrzone będą dane GUS-u dotyczące wielkości związanych z miesięcznymi wartościami odpowiadającymi wskaźnikowi cen i usług konsumpcyjnych (wcu), stopie bezrobocia (sb), wartości produkcji sprzedanej w przemyśle (wps) oraz średniej płacy miesięcznej (spm) w Polsce. Przykład ten wykorzystuje dane statystyczne GUS z 10.5 lat (126 wartości).

Wektory pomiarowe x tworzą w tym przypadku cztery składowe, kolejno: wcu, sb, wps oraz spm. Stosując definicję macierzy korelacji (wzór 10.2) w wyniku obliczeń otrzymano macierz korelacji R_xx w postaci

$\mathbf{R}_{\mathbf{xx}}=10^6\left[\begin{array}{llll} 0.0108 & 0.0017 & 0.0175 & 0.2564 \\ 0.0017 & 0.0003 & 0.0027 & 0.0390 \\ 0.0175 & 0.0027 & 0.0286 & 0.4226 \\ 0.2564 & 0.0390 & 0.4226 & 6.2953 \end{array}\right]$

Dokonując dekompozycji tej macierzy według wartości własnych uzyskuje się następujące wartości własne (w kolejności malejącej):

$\lambda_1  = 6334324.26$

$\lambda_2 = 590.69$

$\lambda_3 = 24.10$

$\lambda_4 = 7.48$

oraz skojarzone z nimi wektory własne

$\mathbf{w}_1=\left[\begin{array}{r} 0.0406 \\ 0.0062 \\ 0.0669 \\ 0.9969 \end{array}\right]$, $\mathbf{w}_2=\left[\begin{array}{r} -0.7609 \\ -0.1859 \\ -0.6173 \\ 0.0736 \end{array}\right]$, $\mathbf{w}_3=\left[\begin{array}{r} -0.6464 \\ 0.2778 \\ 0.7102 \\ -0.0231 \end{array}\right]$, $\mathbf{w}_4=\left[\begin{array}{r} -0.0402 \\ -0.9424 \\ 0.3316 \\ -0.0148 \end{array}\right]$

Na tej podstawie określa się pełną macierz transformacji PCA, zawierającą wszystkie wektory własne ułożone według największego znaczenia (w zależności od wielkości wartości własnych $\lambda_i$): $\mathbf{W}=\left[\mathbf{w}_1, \mathbf{w}_2, \mathbf{w}_3, \mathbf{w}_4\right]^T$ w postaci

$\mathbf{W}=\left[\begin{array}{rrrr}0.0406 & 0.0062 & 0.0669 & 0.9969 \\ -0.7609 & -0.1859 & -0.6173 & 0.0736 \\ -0.6464 & 0.2778 & 0.7102 & -0.0231 \\ -0.0402 & -0.9424 & 0.3316 & -0.0148\end{array}\right]$

oraz macierz diagonalną $\mathbf{L}$ złożoną z wartości własnych macierzy $\mathbf{R_{xx}}$ ułożonych według malejących wielkości $\mathbf{L} = diag \{6334324.26, 590.69, 24.10, 7.48 \}$. Największa wartość własna $\lambda_1 = 6334324.26$ skojarzona jest z pierwszym składnikiem głównym odpowiadającym wektorowi własnemu $\mathbf{w}_1$, stanowiącemu pierwszy wiersz macierzy $\mathbf{W}$. Składnik ten przy wektorze wejściowym $\mathbf{x}$ złożonym z czterech elementów ($wcu, sb., wps, spm$) opisany jest relacją $y_1 = \mathbf{w}_1^T\mathbf{x}$, która w tym przypadku przybiera konkretną postać: $y_1 = 0,0406*wcu + 0,0062*sb + 0,0.0669*wps + 0.9969*spm$. Jak widać największy wpływ na składnik główny $y_1$ ma zmienna $spm$. Każda z wartości własnych $\lambda_i$ odpowiada wariancji jaką reprezentuje dany składnik główny. Względny wkład poszczególnych składników głównych w łączną wariancję danych (energię) można określić wzorem:

$r_i=\frac{\lambda_i}{\sum_{j=1}^4 \lambda_j}$

Wartości te są następujące: $r_1 = 0.9999, r_2 = 9,32E-5, r_3 = 3.8E-6, r_4=1.18E-6$. Jak wynika z rozkładu tych wartości, największy składnik główny ma $99,99\%$ udziału w łącznej wariancji danych. Przy odtwarzaniu wszystkich składników ($wcu, sb, wps, spm$) na podstawie wektora $\mathbf{y}$ można ograniczyć się jedynie do jego największej składowej $y_1$, pomijając pozostałe jako nie wnoszące istotnego wkładu informacyjnego. Oznacza to 3-krotną redukcję ilości przetworzonej informacji. Po odtworzeniu w ten sposób danych uzyskano odtworzony zbiór danych, ze średnim błędem względnym równym $0.97\%$ (zdefiniowanym jako stosunek normy euklidesowej macierzy błędu do normy euklidesowej danych przyjętych w postaci macierzy $4 \times 126$).