Podręcznik

Teoria informacji zajmuje się kodowaniem źródłowym i kanałowym bazując na statystycznych właściwościach źródeł informacji, których modele nie uwzględniają  aspektu znaczeniowego ze względu na pominięcie aspektu użyteczności. Można przyjąć, że informacja rozumiana jest wtedy jako wiadomość W, tj. ciąg symboli nad ustalonym alfabetem, z przypisaną wartością semantyczną $\Sigma_{\cdot}(W)$ u nadawcy N zgodną z wartością semantyczną u odbiorcy O:

Przy takiej koncepcji informacja to para $(W,\Sigma_N(W))$, przy możliwej do pominięcia, bo zgodnej, funkcji semantycznej, przy przekazie niezależnym od wymagań odbiorcy. 

Ze względu na postać, w jakiej wyrażona jest informacja, można wyróżnić informację ze zbiorem ziarnistym (zbiór o skończonej liczbie elementów) oraz informację ze zbiorem ciągłym (obok jednej informacji dowolnie blisko można znaleźć inne informacje). W kodowaniu danych cyfrowych użyteczne jest pojęcie informacji ze zbiorem ziarnistym. Można dla niej określić tzw. ciągi informacji, które są ciągiem symboli ze zbioru informacji elementarnych (alfabetu), pojawiających się w określonej kolejności, stanowiącej istotę informacji. Przykładowo, źródło opisane alfabetem $A_S=~\{a,b,c\}$generuje ciąg informacji: ${\textbf s}(A_S)=~(a,a,c,a,b,b,b,c,c,a,c,b,\ldots)$, tj. sekwencję symboli nad alfabetem $A$.

W teorii informacji istnieją dwa zasadnicze cele wykorzystania modeli źródeł informacji: 

•  wyznaczanie fundamentalnych, teoretycznych wartości granicznych wydajności określonej klasy kodów w odniesieniu do ustalonych modeli źródeł informacji,
• opracowanie skutecznych kodów źródeł informacji wiernie przybliżających rzeczywiste strumienie informacji.