Podręcznik: Trochę o ilości informacji

1. Definicja telekomunikacji

1.3. Trochę o ilości informacji

Przesyłane te same znaki, albo sygnały mogą zawierać różną ilość informacji. Miarą ilości informacji jest entropia. Im mniej prawdopodobne dla odbiorcy jest to, co mu przekazujemy tym większa jest ilość informacji zawarta w przekazie. Tak zwana entropia indywidualna, nazywana również autoinformacją, oznaczana przez $I(x_i)$ jest powiązana z prawdopodobieństwem pi zdarzenia x_i i wyraża się następującym wzorem:

$I(x_i)=\log _kp_i$

Podstawa logarytmu k może być dowolną liczbą spełniającą następujące warunki: k>0 i k≠1. Ze szczególnym i mającym największe znaczenie praktyczne przypadkiem, mamy do czynienia, gdy k=2. Jednostką informacji jest wtedy bit. Bit to ilość informacji w przypadku, gdy prawdopodobieństwo zdarzenia wynosi 0,5. Entropia indywidualna wynosi wówczas 1 bit. Wyniki kolejnych rzutów monetą można przedstawić za pomocą sekwencji zer i jedynek. Zdarzeniu x₁ wyrzucenia reszki odpowiada 0, a zdarzeniu wyrzucenia orła x2 odpowiada 1. Każde zero i każda jedynka zawiera jednobitową informację, ponieważ wyrzucenie reszki albo orła jest tak samo prawdopodobne. Entropia indywidualna każdego z tych zdarzeń wynosi 1 bit. Zauważmy, że entropia dąży do nieskończoności, gdy prawdopodobieństwo zdarzenia dąży do zera. Jest ona równa 0 w przypadku zdarzeń pewnych, czyli takich, dla których prawdopodobieństwo wystąpienia jest równe 1. Rozszerzmy nasze rozważania i rozpatrzmy przypadek zdarzenia, na które składa się wynik dwukrotnego rzucenia monetą. Załóżmy, że prawdopodobieństwo wyrzucenia orła jest takie samo jak wyrzucenia reszki. Jeżeli w wyniku otrzymamy dwie reszki (00) to entropia zdarzenia, przy założeniu niezależności wyników rzutów wynosi 2 bity, ponieważ prawdopodobieństwo wyrzucenia kolejno dwóch reszek wynosi 0,25. W przypadku n-elementowej sekwencji rzutów monetą prawdopodobieństwo wynosi:

$p_n=\frac{1}{2^n}$

a entropia indywidualna:

$I(x)=-\log_2\frac{1}{2^n}=n\, \mathrm{[bit]}$

Chcąc przesłać wiadomość o tym jaka n-elementowa sekwencja została wyrzucona musimy do tego użyć minimum n bitów. Następujący wzór definiuje, tak zwaną entropię stowarzyszoną, albo prościej entropię ze zbiorem n niezależnych zdarzeń:

$H\left(x_1,\ x_2,\ \ldots,x_n\right)=-\ \sum_{i=1}^{n}{p_i{\mathrm{log}}_2}p_i$

Entropia określa minimalną średnią liczbę bitów przypadającą na zdarzenie.

Przykład 1.2
Przyjmiemy, że zbiór niezależnych zdarzeń stanowią liczby od 0 do 127,

$x_i=i-1$

oraz, że są to zdarzenia jednakowo prawdopodobne, Wyznaczyć minimalną średnią liczbę bitów na zdarzenie. Z definicji entropii mamy:

$H\left(x_1,\ x_2,\ \ldots,\ x_{128}\right)=-\sum_{i=1}^{128}p_i\log_2p_i=7 \, \mathrm{[bit]}$

Wiemy, że w kodzie dwójkowym każda z liczb od 0 do 127 może być przedstawiona jednoznacznie za pomocą sekwencji siedmiu bitów (osiem bitów/zdarzenie(liczbę)). Możliwa jest również i inne przedstawienie liczb, w którym liczba bitów reprezentujących poszczególne liczby nie będzie jednakowa. Średnia liczba bitów przypadająca na liczbę nie może być jednak mniejsza od 7.

Przykład 1.3

Rozważmy poprzedni przykład jeszcze raz, ale przyjmując, że połowa z sekwencji występuje dwa razy częściej niż druga połowa sekwencji. Prawdopodobieństwo wystąpienia sekwencji z pierwszej połówki wynosi p1=1/96, a z drugiej połówki p₂=1/192. Tym razem entropia wynosi:

$H\left(x_1,\ x_2,\ \ldots,\ x_{128}\right)=-\sum_{i=1}^{64}{p_1{\mathrm{log}}_\mathrm{2}p_i-\sum_{i=65}^{128}p_2{\mathrm{log}}_\mathrm{2}p_i=7\ \left[\mathrm{bit}\right]}$

$H\left(x_1,\ x_2,\ \ldots,\ x_{128}\right)\approx4,06+2,53\approx6,6\ [\mathrm{bit}]$

A więc nieco mniej niż w przypadku, gdy prawdopodobieństwa są jednakowe.

Zwróćmy uwagę na to, że z punktu widzenia telekomunikacji nie ma żadnego znaczenia skąd wzięły się prawdopodobieństwa użyte w obu przykładach. Ważna jest natomiast to, że entropia określa średnią liczbę bitów przypadających na zdarzenie. a to z kolei ma bezpośredni związek z szybkością transmisji.