Podręcznik: Estymacja parametrów procesów losowych

5. Analiza częstotliwościowa sygnałów losowych

5.3. Estymacja parametrów procesów losowych

W analizie procesów losowych często nie znamy rozkładu prawdopodobieństwa ani rzeczywistych wartości ich parametrów (np. wartości oczekiwanej, wariancji). Dlatego korzystamy z estymacji, czyli wyznaczania przybliżonych wartości parametrów na podstawie próbek sygnału.

Teoretyczna wartość oczekiwana procesu w czasie ciągłym określona jest jako:

$\mu_{X(t)} = E[X] = \int_{-\infty}^{\infty} x\,f_X(x)\,dx$

gdzie funkcja gęstości prawdopodobieństwa $f_{X(t)}(x)$ zależy od wartości zmiennej losowej $x$ w danym czasie $t$ . Jest to uśrednienie po wielu możliwych realizacjach procesu. W praktyce dysponujemy jedną realizacją sygnału $X(t)$ obserwowaną w czasie $[0, T]$ . Dlatego definiujemy średnią czasową:

$\overline{X} = \frac{1}{T} \int_{0}^{T} X(t)\,dt$

Jeżeli proces jest stacjonarny w szerokim sensie i ergodyczny względem wartości średniej, to średnia wyznaczona na podstawie jednej realizacji w czasie jest równa średniej teoretycznej:

$\mu_{X(t)} = \lim_{T \to \infty} \frac{1}{T} \int_{0}^{T} X(t)\,dt$

Dla procesu losowego w czasie ciągłym, teoretyczna wariancja określona jest jako:

$\sigma^2_{X(t)} = E\big[(X(t)-\mu_X(t))^2\big] = \int_{-\infty}^{\infty} (x-\mu_X(t))^2 f_{X(t)}(x)\,dx$

Jeżeli proces jest stacjonarny w szerokim sensie oraz ergodyczny względem wartości średniej i autokorelacji, to wariancja wyznaczona na podstawie jednej realizacji w czasie jest równa wariancji teoretycznej:

$\sigma_X^2 = \lim_{T \to \infty} \frac{1}{T} \int_{0}^{T} \big(X(t) - \mu_X\big)^2\,dt$

W analizie rzeczywistych sygnałów losowych, proces w czasie ciągłym $X(t)$ jest obserwowany jedynie w dyskretnych chwilach czasu:

$t_n = nT,\quad n = 0,1,\ldots,N-1$

gdzie $T$ oznacza okres próbkowania, a $f_s = \frac{1}{T}$ to częstotliwość próbkowania. W wyniku próbkowania otrzymujemy proces dyskretny:

$X[n] = X(t_n) = X(nT)$

Jeżeli proces $X[n]$ jest stacjonarny w szerokim sensie i ergodyczny względem wartości średniej i autokorelacji, to jego własności statystyczne można oszacować na podstawie jednej realizacji:

$\hat{\mu}_{X[n]} = \frac{1}{N} \sum_{n=0}^{N-1} X[n]$

$\hat{\sigma}^2_{X[n]} = \frac{1}{N-1} \sum_{n=0}^{N-1} \big(X[n] - \hat{\mu}_{X[n]}\big)^2$

Wartości te stanowią estymatory wartości oczekiwanej i wariancji procesu losowego $X[n]$ . W praktyce oznacza to, że do wyznaczenia średniej procesu i rozrzutu procesu wokół średniej nie potrzeba wielu realizacji – wystarczy jedna dostatecznie długa obserwacja w czasie. Jest to warunek umożliwiający analizę widmową procesów losowych.

Na rysunku 5.6 przedstawiono przebieg jednej realizacji stacjonarnego procesu gaussowskiego $N(2,3^2)$ . Dla tej realizacji dokonano estymacji wartości oczekiwanej oraz wariancji procesu. Estymowana wartość oczekiwana $\hat{\mu}_{X} \approx 2.06$ odpowiada w przybliżeniu wartości teoretycznej $\mu = 2$ . W przypadku estymatora wariancji $\hat{\sigma}^2_{X}$ otrzymano wartość $8.63$ , co również jest zbliżone do wartości teoretycznej $\sigma^2 = 9$ .

Rys. 5.6. Przebieg jednej realizacji stacjonarnego procesu gaussowskiego wraz z estymowaną wartością oczekiwaną

Nieznaczne różnice w otrzymanych wartościach estymatorów wynikają z faktu, że dysponujemy tylko jedną, skończoną realizacją procesu losowego, a estymatory są obliczane na podstawie ograniczonej liczby próbek.

Wraz ze wzrostem liczby próbek estymatory zbliżają się do wartości teoretycznych (efekt ergodyczności procesu stacjonarnego), co zostało zilustrowane na rys. 5.7 i 5.8. Wykresy przedstawiają estymowaną wartość oczekiwaną i wariancję w funkcji długości

$T$ przedziału obserwacji sygnału dla jednej realizacji stacjonarnego procesu gaussowskiego

$N(1.5,2^2)$ . Czerwona przerywana linia oznacza wartości teoretyczne – odpowiednio

$\mu = 1.5$ i

$\sigma^2 = 4$ . Dla małych wartości

$T$ estymatory są bardziej zmienne, natomiast dla dłuższych przedziałów obserwacji sygnału estymatory zbliżają się do wartości teoretycznych.

Rys. 5.7. Estymowana wartość oczekiwana

$\hat{\mu}_X$ w funkcji długości

$T$ przedziału obserwacji sygnału

Rys. 5.8. Estymowana wariancja

$\hat{\sigma}^2_X$ w funkcji długości

$T$ przedziału obserwacji sygnału

W przypadku, gdy założenia stacjonarności i ergodyczności są złamane, klasyczne estymatory wartości oczekiwanej i wariancji z jednej realizacji nie powinny być stosowane. Na rys. 5.9 i 5.10 zilustrowano proces z trendem średniej – średnia rośnie w czasie, stąd estymator z jednej realizacji nie odzwierciedla wartości typowej procesu, bo proces nie jest stacjonarny. Drugi proces ma zmienną wariancję w czasie ( $\hat{\sigma}^2_X \approx 33.28$ ), więc estymator wariancji z jednej realizacji jest zawodny. Zauważmy, że linia średniej estymowanej nie leży w „środku” sygnału przez cały czas.

Rys. 5.9. Przebieg jednej realizacji procesu losowego z rosnącym trendem liniowym

Rys. 5.10. Przebieg jednej realizacji procesu losowego o zmiennej w czasie wariancji

Z pojęciem wartości oczekiwanej związana jest teoretyczna funkcja autokorelacji, która opisuje zależność pomiędzy wartościami procesu losowego $X(t)$ w dwóch różnych chwilach czasu $t$ oraz $t+\tau$ . W przypadku procesu w czasie ciągłym definiuje się ją jako wartość oczekiwaną iloczynu:

$R_X(t, t+\tau) = E\big[X(t)\,X(t+\tau)\big]$

Dla procesu stacjonarnego w szerokim sensie funkcja ta zależy jedynie od przesunięcia $\tau$ , a nie od konkretnego momentu $t$ :

$R_X(\tau) = E\big[X(t)\,X(t+\tau)\big]$

Jeżeli proces jest dodatkowo ergodyczny względem autokorelacji, to funkcję tę można oszacować z jednej realizacji procesu, uśredniając iloczyny przesuniętych wartości w czasie:

$\hat{R}_X(\tau) = \lim_{T \to \infty} \frac{1}{T} \int_{0}^{T} X(t)\,X(t+\tau)\,dt$

Dla procesu dyskretnego $X[n]$ funkcja autokorelacji ma postać:

$R_X[k] = E\big[X[n]\;X[n+k]\big]$

a jej estymator z jednej realizacji (dla $N$ próbek) zapisuje się jako:

$\hat{R}_X[k] = \frac{1}{N-k} \sum_{n=0}^{N-1-k} X[n]\,X[n+k],\quad k = 0,1,\ldots,N-1$

W praktyce, gdy wartość oczekiwana procesu nie jest znana, stosuje się estymator funkcji autokorelacji w postaci:

$\hat{R}_X[k] = \frac{1}{N-k} \sum_{n=0}^{N-1-k} \big(X[n]-\hat{\mu}\big)\big(X[n+k]-\hat{\mu}\big)$

gdzie $\hat{\mu}$ jest estymowaną wartością średnią.

Wartość $\hat{R}_X[0]$ odpowiada wariancji sygnału:

$\hat{R}_X[0] = \hat{\sigma}^2_X$

Na rys. 5.11 przedstawiono przebieg jednej realizacji stacjonarnego procesu gaussowskiego $N(0,1)$ . Dla tej realizacji dokonano estymacji funkcji autokorelacji. Dla białego szumu autokorelacja dla $k = 0$ jest w przybliżeniu równa wariancji $\sigma^2 = 1$ , zaś autokorelacja dla $k > 0$ jest w przybliżeniu równa $0$ . Widoczny jest efekt ergodyczności – z jednej realizacji można oszacować funkcję autokorelacji procesu stacjonarnego.

Rys. 5.11. Estymator funkcji autokorelacji dla jednej realizacji białego szumu

Dla niestacjonarnego lub nieergodycznego procesu estymacja autokorelacji z jednej realizacji jest zawodna (rys. 5.12). Estymator autokorelacji z jednej realizacji procesu o rosnącym trendzie daje duże dodatnie wartości dla przesunięć

$k > 0$ , co nie odpowiada teoretycznej autokorelacji procesu stacjonarnego.

Rys. 5.12. Estymator funkcji autokorelacji dla jednej realizacji niestacjonarnego procesu

Autokorelacja uwzględnia zarówno średnią, jak i zmienność sygnału, natomiast kowariancja mierzy zależności między próbkami po odjęciu wartości średniej, pokazując wyłącznie zmienną część procesu. Dla procesu losowego

$X(t)$ funkcja kowariancji określa zależność liniową między wartościami procesu w dwóch różnych chwilach

$t_1$ i

$t_2$ :

$C_{XX}(t_1, t_2) = E\big[(X(t_1) - \mu_X(t_1))(X(t_2) - \mu_X(t_2))\big]$

gdzie

$\mu_X(t) = E[X(t)]$ to wartość oczekiwana procesu. Dla procesu stacjonarnego w szerokim sensie kowariancja zależy tylko od przesunięcia czasowego

$\tau = t_2 - t_1$ :

$C_{XX}(\tau) = E\big[(X(t) - \mu_X)(X(t+\tau) - \mu_X)\big]$

Dla dyskretnego procesu stacjonarnego i ergodycznego kowariancję można oszacować na podstawie jednej realizacji

$X[n]$ :

$\hat{C}_{XX}[k] = \frac{1}{N-k} \sum_{n=0}^{N-1-k} \big(X[n]-\bar{X}\big)\big(X[n+k]-\bar{X}\big),\quad k = 0,1,\dots,M$

gdzie

$\bar{X} = \frac{1}{N} \sum_{n=0}^{N-1} X[n]$ to średnia z jednej realizacji,

$N$ jest liczbą próbek, a

$M$ to maksymalne przesunięcie. Dla białego szumu gaussowskiego:

$\hat{C}_{XX}[0] \approx \sigma^2,\quad \hat{C}_{XX}[k] \approx 0 \ \text{dla}\ k > 0$

Na rys. 5.13 przedstawiono estymatory funkcji kowariancji obliczonej w przesuwanych oknach czasowych dla jednej realizacji sygnału. Oś pozioma przedstawia numer okna, czyli pozycję początkową przesuwającego się fragmentu sygnału o długości

$50$ . Oś pionowa pokazuje wartość estymowanej kowariancji

$\hat{C}_{XX}[0]$ w każdym oknie.

Rys. 5.13. Estymatory funkcji kowariancji dla jednej realizacji stacjonarnego i niestacjonarnego procesu

Dla procesu stacjonarnego kowariancja oscyluje wokół stałej wartości – estymator

$\hat{C}_{XX}[k]$ jest wiarygodny i pozwala na oszacowanie funkcji autokorelacji oraz widma sygnału. Natomiast dla procesu niestacjonarnego (trend i rosnąca wariancja) widać wyraźny wzrost kowariancji w czasie, co ilustruje niestacjonarność sygnału i zawodność estymatora z jednej realizacji.

Estymacja kowariancji jest podstawą analizy widmowej sygnałów losowych, ponieważ funkcja autokorelacji jest bezpośrednio związana z gęstością widmową sygnału (poprzez transformację Fouriera), która zostanie omówiona w rozdziale 5.4.