Przekazywanie informacji multimedialnych

Miara ilości informacji dostarczanej (emitowanej) przez probabilistyczne źródło informacji konstruowana jest przy dwóch intuicyjnych założeniach: a) więcej informacji zapewnia pojawienie się mniej prawdopodobnego symbolu, b) informacja związana z wystąpieniem kilku niezależnych zdarzeń jest równa sumie informacji zawartej w każdym ze zdarzeń.

Informacja $I(a_{i})$ związana z wystąpieniem pojedynczego symbolu $a_{i}$ alfabetu źródła $S$ określona jest w zależności od prawdopodobieństwa wystąpienia tego symbolu $p_i=\Pr(s=a_i)$  jako$I(a_i)=\lg(1/p_i), p_{i}\neq 0$. Jest to tzw. informacja własna (self-information).

W przypadku strumienia danych generowanych przez źródło do określenia ilości informacji wykorzystuje się pojęcie entropii. Zasadniczo, dla sekwencji kolejnych symboli $s_{i}$, gdzie $i=1,2,\ldots$, dostarczanych ze źródła informacji $S$ o alfabecie $A_{S}=\{a_{1},a_{2},\ldots,a_{n}\}$ entropia określona jest jako 

gdzie 

$I_m =-\sum_{j_{1}=1}^{n}\sum_{j_{2}=1}^{n}\cdots \sum_{j_{m}=1}^{n}P(a_{j_{1}},a_{j_{2}},\ldots,a_{j_{m}})\lg P(a_{j_{1}},a_{j_{2}},\ldots,a_{j_{m}})=$

$= -\sum_{j_{1},\ldots,j_{m}=1}^{n}\Pr(s_{1}=a_{j_{1}},\ldots,s_{m}=a_{j_{m}}  )\lg \Pr(s_{1}=a_{j_{1}},\ldots,s_{m}=a_{j_{m}})$
oraz $(s_{1},s_{2},\ldots,s_{m})$ jest sekwencją symboli źródła $S$ o długości $m$.

Tak określona entropia nosi nazwę entropii łącznej, gdyż jest wyznaczana za pomocą prawdopodobieństwa łącznego wystąpienia kolejnych symboli z alfabetu źródła informacji. Definicja entropii według zależności (1.4) jest jednak niepraktyczna, gdyż nie sposób wiarygodnie określić prawdopodobieństwa łącznego wystąpienia każdej, możliwej (określonej przez alfabet) kombinacji symboli źródła w rzeczywistym skończonym zbiorze danych. Wymaga to albo dużej wiedzy a priori na temat charakteru zbioru danych, które podlegają kompresji, albo nieskończenie dużej liczby danych do analizy (nieskończenie długiej analizy). Należałoby więc zbudować model źródła informacji określający prawdopodobieństwo łącznego wystąpienia dowolnie długiej i każdej możliwej sekwencji symboli tegoż źródła. Bardziej praktyczne postacie zależności na entropię, aproksymujące wartość entropii łącznej dla danego źródła informacji, wynikają z uproszczonych modeli źródeł.

Entropia modelu źródła może być rozumiana jako średnia ilość informacji przypadająca na generowany symbol źródła, jaką należy koniecznie dostarczyć, aby usunąć wszelką nieokreśloność (niepewność) z sekwencji tych symboli. Podstawa logarytmu używanego w definicjach miar określa jednostki używane do wyrażenia ilości informacji. Jeśli ustala się podstawę równą 2, wtedy entropia według (1.4) wyraża w bitach na symbol średnią ilość informacji zawartą w zbiorze danych (tak przyjęto w rozważaniach o entropii).

Dla poszczególnych modeli źródeł informacji można określić ilość informacji generowanej przez te źródła. Ponieważ modele źródeł tylko naśladują (aproksymują) cechy źródeł rzeczywistych (często niedoskonale), obliczanie entropii dla rzeczywistych zbiorów danych za pomocą tych modeli jest często zbyt dużym uproszczeniem. Należy jednak podkreślić, iż obliczona dla konkretnego źródła ilość informacji tym lepiej będzie przybliżać rzeczywistą informację zawartą w zbiorze danych (wyznaczaną asymptotycznie miarą entropii łącznej), im wierniejszy model źródła informacji został skonstruowany.

Entropia modelu źródła bez pamięci

Zakładając, że kolejne symbole są emitowane przez DMS niezależnie, wyrażenie na entropię tego modelu źródła można wyprowadzić z równania (1.4). Entropia modelu źródła bez pamięci, uzyskana przez uśrednienie ilości informacji własnej po wszystkich symbolach alfabetu źródła wynosi:

gdzie $n$ oznacza liczbę symboli $a_i$ w alfabecie. Dla $P(a_i)=0$ wartość $\mbox{$0\cdot\log_{2}1/0\equiv 0$}$, gdyż $\lim_{\phi \rightarrow 0^+}\phi \log_2 1/\phi=0$. Entropia źródła bez pamięci nazywana jest entropią bezwarunkową (od użytej formy prawdopodobieństwa). W przypadku, gdy źródło DMS nie najlepiej opisuje kodowany zbiór danych entropia obliczona według (1.5) jest wyraźnie większa od entropii łącznej, czyli nie jest w tym przypadku najlepszą miarą informacji. Rzeczywista informacja zawarta w zbiorze danych jest pomniejszona o nieuwzględnioną informację wzajemną, zawartą w kontekście wystąpienia kolejnych symboli.