Podręcznik

1. Multimedia, podstawowe pojęcia i definicje

Multimedia stały się ważnym składnikiem życia codziennego współczesnego człowieka. Często są narzędziem jego pracy intelektualnej i zawodowej, przyczyniają się w istotny sposób do zniesienia bariery czasu i przestrzeni pomiędzy ludźmi. Ubogacają komunikację, często są niezbędnym elementem rozrywki, nauki, poznania, wyrazu artystycznego, nowych doświadczeń. Odgrywają coraz większą rolę we wspomaganiu diagnosty medycznej, leczeniu, profilaktyce. Dla osób niepełnosprawnych są szansą skutecznej rehabilitacji, ale też aktywnego udziału w życiu świata. W rozwoju współczesnych multimediów ważny okazał się rozwój technologii doskonalących formy przekazu (telekomunikacja, teleinformaty-ka), umożliwiających hierarchiczne osadzanie treści, odwołania do ogólnie dostępnych,dynamicznych źródeł wiedzy, prostą interakcję na odległość itp.  Istotne stało się pojawienie pojęcia hipertekstu, czyli tekstu, w którym wszystkie ważniejsze pojęcia mają ”niewidoczne” odnośniki (hiperłącza) encyklopedyczne i słownikowe. Odnośniki te za jednym kliknięciem przywołują teksty informacyjne odwołujące się to innych terminów i pojęć kluczowych, o których można by otrzymać informacje objaśniające itd. Miało to olbrzymie znaczenie dla rozwoju Internetu, ale też nowoczesnych nośników typu CD-ROM, a więc także dla multimediów. Współczesna definicja multimediów nie jest prosta. Można o nich mówić w różny sposób, można je rozumieć odmiennie, można wreszcie przypisywać im różną rolę praktyczną, a więc odnosić je do różnego typu zastosowań. W kręgu artystów chodzi o identyfikację praktyk twórczych o charakterze interdyscyplinarnym, łączących rozmaite elementy wizualne i środki ekspresji, takie jak: filmy, muzyka, słowo mówione, projekcje świetlne, taniec, rysunek, malarstwo, grafika, fotografia, itp. Przy czym często sztukę multimedialną definiowano w kategoriach tzw. kultury komputerowej, wspomaganej efektami grafiki komputerowej, wirtualną rzeczywistością, przekazem internetowym. Zasadnicze znaczenie słowa ”multimedia” występuje w kontekście realnego, czyli aktualnego i zamierzonego przekazu informacji. Informacja, w pierwszym przybliżeniu, to dane z przypisaną treścią, która jest użyteczna dla odbiorcy (prawdziwie lub domniemanie). Informacja przekazywana w danej chwili ma formę strumienia danych (tj. sekwencji danych potencjalnie nieograniczonej, z indeksem czasowym) o określonej reprezentacji. Środkiem przekazu staje się wszystko (sprzęt w danej technologii, protokoły, warstwa fizyczna, oprogramowanie itp.), co umożliwia przekaz informacji.

Rysunek 1: Fundament rozwoju koncepcji multimedialnych. Wielostrumieniowy przekaz informacji spina poszczególne etapy rozwoju technik służących poznaniu rzeczywistości przybliżanej za pomocą istotnych technologii, metod i zasobów. Kluczowe kryterium to wyposażenie w najdoskonalsze narzędzia poznawcze pełnej prawdy o rzeczywistości, która ma maksymalną wartość użytkową dla odbiorcy. Symboliczny nadawca, konstruktor, zarządca służy jedynie zgodnie z tym kryterium.

W kontekście przekazu komputerowego, w środowisku sieci lokalnych czy globalnych (np. pomiędzy serwerem a klientem), dużego znaczenie nabiera pojęcie \textbf{strumieniowania}, czyli przesyłania danych w formie strumienia, któremu towarzyszy  wykorzystywanie kolejno napływających danych bezpośrednio po ich otrzymaniu. Typową realizacją jest bezpośrednie wyświetlanie filmu odbieranego jako otwarty strumień, bez wstępnego ustalenia całkowitego rozmiaru zamierzonego przekazu. Otrzymywany strumień może być jednocześnie rejestrowany w lokalnych archiwum lub też nie. Typowym przykładem jest monitoring kamerą z interfejsem sieciowym, kiedy to rejestrowane są jedynie fragmenty czy też usługi interaktywnej telewizji cyfrowej wykorzystującej protokół IP (IPTV): wideo na życzenie VoD (\emph Video on Demand) czy też funkcja sieciowego magnetowidu NPVR (ang. Network Personal Video Recorder), dająca możliwość  nagrywania  (a potem korzystania z nich) aktualnie  nadawanych programów telewizyjnych na dysku sieciowym operatora.

Przyjmijmy następującą definicję multimediów:

Multimedia to zintegrowany przekaz międzyludzki, ze szczególną rolą nadawcy (zdobywcy czy wytwórcy informacji) oraz odbiorcy (użytkownika, który ustala kryteria jakości i efektywności). Zmieniają się zadania nadawcy i oczekiwania odbiorcy, sposoby i formy rejestracji oraz prezentacji informacji multimedialnej. Treść przekazu odnosi się do określonej rzeczywistości, problemu, zadań, które definiuję jego specyfikę oraz krytyczne wymagania. 

Atrakcyjność multimediów wynika przede wszystkim z szybkiego dostępu do bogatych źródeł informacji, z coraz doskonalszych technologii odtwarzania i prezentacji tej informacji, możliwości jej gromadzenia, wymiany, obróbki, czy też upowszechniania własnych źródeł informacji. Bariery wynikające z fizycznych ograniczeń człowieka giną, a otwierają się nowe szanse rozwoju, współpracy, aktywnego udziału w życiu świata. W kontekście multimediów występuje istotne pojęcie mediów cyfrowych, czyli określonej formy użytkowania treści multimedialnych, takiej jak Internet, telewizja cyfrowa, telefonia komórkowa, poczta elektroniczna, dystrybucje DVD, itp. Odwołuje się ono do starszego pojęcia mediów, czyli środków audiowizualnych przekazu informacji i rozrywki, takich jak radio i telewizja, filmy, nagrania dźwiękowe, magazyny, gazety, książki, płyty, taśmy magnetofonów, plakaty itp.  Coraz trudniej dziś rozróżnić pojęcia mediów od mass mediów, czyli środków masowego przekazu. Dzięki technologicznym możliwościom rejestracji i komunikacji danych, sekretny zapis dokonany w domowym zaciszu może w jednej chwili stać się informacją przekazaną na cały świat. 
Podstawową cechą mediów cyfrowych jest ich zdalna dostępność przez sieci telekomunikacyjne, z której wynika konieczność unormowania sposobów reprezentacji danych i ich opisów (metadanych) jako warunek skutecznej wymiany informacji \cite{Skarbek04}. Warto także zwrócić uwagę na proces integracji poszczególnych mediów wokół przekazu multimedialnego, a więc rejestratorów dźwięku i obrazu, komputerów, edytorów tekstu, narzędzi zapewniających interaktywny przekaz, koderów, nośników, monitorów, głośników, drukarek, skanerów, kart muzycznych, telewizyjnych, graficznych, sterowników, oprogramowania, itd. Celem integracji źródeł informacji, jej treści i formy oraz sprzętu i oprogramowania systemu multimediów jest efekt synergii, spodziewany u odbiorcy.  
Multimedia są technologicznym, niedoskonałym odpowiednikiem naturalnego, ludzkiego przekazu informacji, obejmującego wielość zmysłów i różnorodny charakter komplementarnych sposobów wyrażania treści (modulacja głosu, gestykulacja, wyraz i mimika twarzy, zapach, sposób dotykania, ubiór, itp.). Pozyskując, dostarczając i prezentując informacje, kształtujące w dużym stopniu wiedzę o świecie współczesnego człowieka, multimedia stają się wyspecjalizowanym narzędziem poznawania świata, łamiącym istniejące dotąd bariery ograniczeń czasowych, przestrzennych, związanych z dostępem i komunikacją globalną. Są przy tym jednocześnie źródłem wielu zagrożeń, z których warto wymienić przede wszystkim pokusę zastępowania świata realnego wytworem globalnego przekazu informacji, wykrzywiania obrazu świata realnego natłokiem zbędnych treści i selektywnie wybieranych zestawień budujących fałszywą wiedzę. Multimedia mogą stać się ucieczką, zamiast szansą. Wydaje się, że pomocnicza funkcja wspomagania z zachowaniem dominującej roli ludzkiej osoby oraz przyłożenie większej wagi do treści oraz wiarygodności przekazu nie ograniczy roli multimediów, przyczyni się natomiast do bardziej harmonijnego i spójnego ich rozwoju.  

techniki multimedialne
Wśród zagadnień stanowiących podstawę opracowań współczesnych aplikacji multimedialnych znajdują się:

• pozyskanie źródłowych danych multimedialnych poprzez akwizycję, rejestrację, zapis danych z wykorzystaniem  takich urządzeń jak kamery, aparaty fotograficzne, zestawy mikrofonowe, skanery, satelity, czujniki, systemy obrazowania medycznego, itp.;
• składowanie i transmisję danych multimedialnych, z istotną rolą efektywnej kompresji, transkodowania, kodowania archiwizacyjnego i nadmiarowego, kontroli i korekcji błędów transmisji, protokołów transmisji zapewniających interakcję, łatwy i szybki dostęp, struktur i mechanizmów bazodanowych, itd.;
• opis treści multimedialnych poprzez ekstrakcję efektywnych deskryptorów (hipertekst, metadane, deskryptory numeryczne, semantyczne), indeksowanie (szybkość i zasoby), wyszukiwanie (selektywność i formy zapytań), itd.;
• ulepszanie multimediów, w tym poprawa jakości (redukcja szumów, artefaktów i zniekształceń geometrycznych, zwiększanie rozdzielczości, poprawa kontrastu), poprawa percepcji treści, ekstrakcja treści ukrytej, uzupełnianie treści - wypełnianie brakujących fragmentów obrazu czy zapisu dźwiękowego, itd., syntezę treści metodami grafiki komputerowej (problem realizmu scen, wizualizacja danych), ale też metody oceny użyteczności danych multimedialnych (oceny ich jakości, wiarygodności, przydatności w konkretnych zastosowaniach);
• analiza treści multimedialnych, w tym segmentacja obiektów, ekstrakcja i selekcja cech, rozpoznawanie w inteligentnych systemach multimedialnych (rozpoznawanie twarzy, mowy, identyfikacja osób, detekcja obiektów, zmian patologicznych w obrazach medycznych, śledzenie obiektów);
• prezentacja multimediów, za pomocą wielokanałowych systemów odtwarzania dźwięku, nowoczesnych monitorów, telewizorów, systemów wizualizacji 3W, form wielkorozdzielczej reklamy dynamicznej, itp.;
• ochrona danych, w tym kryptologia, techniki szyfrowania, uwierzytelnienia, szyfrowania, ukrywanie treści metodami steganografii i znaków wodnych, itd.; 
• integracja treści przekazu wielostrumieniowego, zarówno na poziomie transmisji czy składowania (różne formy synchronizacji i wzajemnego referowania danych), jak też metod odbioru przez użytkownika (zintegrowane modele odbiorcy, interakcja i sterowanie jakością);
• standaryzacja, w tym zwiększanie kompatybilności, \emph{przezroczystości} technologii, tworzenie standardów technologii przyszłości, poszukiwanie nowych technik dostosowanych do wyzwań współczesności.
• inne.

Będziemy je nazywali technikami multimedialnymi. Znajomość niezbędnych podstaw teoretycznych, algorytmicznych oraz uwarunkowań realnych implementacji ww. technik warunkuje efektywne wykorzystanie oraz twórcze kształtowanie rozwoju świata multimediów. 

Bto odpowiedni kontekst dokonującego się realnie, czyli aktualnego i zamierzonego przekazu informacji, w którym istotne są:

• forma przekazu jako strumień danych, tj. sekwencja danych potencjalnie nieograniczona (bezpośrednio po otrzymaniu napływają kolejne dane), z indeksem czasu rzeczywistego, o określonej reprezentacji;
• integracja rożnych rodzajów informacji rozdzielonej na komplementarne, synchronizowane strumienie, zróżnicowane w zakresie:
  • natury przekazu -- obraz, dźwięk, tekst, metadane itd.,
  • charakteru treści wynikającego zazwyczaj z natury danych,
  • formy reprezentowania informacji, zarówno w zakresie syntaktycznym, jak też semantycznym, 

z oczekiwanym efektem synergii;

• urządzenia i systemy, w tym m.in.
  • rejestratory (cyfrowe detektory obrazów, kamery, aparaty fotograficzne, zestawy mikrofonowe, studia nagrań itd.),
  • procesory przetwarzania danych (sygnałowe, graficzne, procesory efektowe, korektory graficzne, stoły mikserskie itp.),
  • technologie komunikacji (przewodowej, bezprzewodowej, sieci lokalne i globalne, protokoły, urządzenia dostępowe itd.),
  • systemy komputerowe ze specjalizowanym oprogramowaniem (nagrywarki, odtwarzacze multimedialne, przeglądarki itp.),
  • sprzęt do prezentacji (monitory, wyświetlacze, systemy wizualizacji 3W, systemy odsłuchowe, zestawy głośnikowe itd.);
• specyficzne cechy przy projektowaniu, konstruowaniu i doskonaleniu użytecznych rozwiązań, takie jak:
  • naśladowanie naturalnego, ludzkiego, możliwie kompletnego sposobu przekazywania informacji, podmiotowość użytkownika -- odbiorcy przekazu;
  • przełamywanie barier oraz istniejących w kontaktach międzyludzkich (schemat nadawca -- odbiorca) ograniczeń fizycznych,
  • szybki i selektywny dostęp do bogatych, wiarygodnych źródeł informacji,
  • stały rozwój, w tym doskonalenie technologii rejestracji, komunikacji i prezentacji, zwiększanie możliwości w zakresie gromadzenia i wymiany danych, opracowywanie skuteczniejszych metod wyszukiwania i obróbki informacji wobec rosnącej skali rozpowszechniania i poprawy łatwości obsługi, przy jednoczesnej indywidualizacji i szerszym wykorzystaniu mechanizmów oceny użyteczności itp. 

Zaś media cyfrowe to 

• określone formy użytkowania treści multimedialnych, takie jak Internet, telewizja cyfrowa, telefonia komórkowa, poczta elektroniczna, dystrybucje DVD itp.;
• zdalna dostępność przez sieci telekomunikacyjne, z której wynika konieczność unormowania sposobów reprezentacji danych i ich opisów  (metadanych) jako warunek skutecznej wymiany informacji.

Możliwa jest też definicja multimediów jako mediów cyfrowych z

• przekazem kilku strumieni informacji w czasie, synchronizacją czasową i semantyczną przekazu;
• integracją treści i formy przekazu w celu uzyskania efektu synergii;
• treścią będącą odwzorowaniem/odbiciem naturalnych sposobów komunikacji  według schematu człowiek--zmysły--poznanie.

2. Do czego zmierzamy

Nie chodzi tutaj o szczegóły metod zdobywania informacji poprzez pozyskiwanie wiarygodnych źródeł, weryfikację prawdomówności świadków, przewidywanie miejsc i zdarzeń niezwykłych, interesujących dla dużej grupy odbiorców, odpowiednie wyszukiwanie nieznanych dotąd szczegółów czy okoliczności itp. Te i wiele innych form pozyskiwania informacji reprezentuje w naszych rozważaniach ''pomiar'', który odnosi się do fizycznych, biologicznych czy chemicznych uwarunkowań rejestracji sygnałów przenoszących informację. W pomiarach tych wykorzystywana jest różnego typu aparatura, zwykle obejmująca czujniki dostosowane do fizycznych/chemicznych/biologicznych podstaw pomiaru, przetworniki analogowo-cyfrowe, elektronikę wzmacniającą i wstępnie przetwarzającą sygnał, kodery i nośniki/łącza przekazujące zarejestrowany sygnał. Ten pomiar jest szczególny, odnosi się bowiem do wielostrumieniowej natury pozyskiwanej informacji, zintegrowanej treściowo (opisują tę samą rzeczywistość z różnych stron, wzajemnie się uzupełniając w efekcie synergii) i czasowo (znaczniki synchronizujące przekaz). Uwarunkowania pomiaru zależą zarówno od charakteru informacji, przyrodniczych form jej wyrazu, jak też od technologii kanału kształtującego i przekazującego strumienie informacji.  

Wszystkie te aspekty i elementy zdobywania informacji będą modelowane za pomocą końcowego efektu określonego jako źródło informacji (niezerowej) zarządzanej przez ''nadawcę'', który pragnie przekazać odbiorcy pozyskane z tego źródła informacje. Zanim jednak poznamy wybrane modele źródeł informacji oraz sposoby i konsekwencje ich wykorzystania, w tym module zajmiemy się techniczną stroną pozyskania informacji za pomocą pomiarów. 

Przedstawione zostaną wybrane modele i reprezentacje sygnałów, które integrują fizyczne podstawy pomiarów z formą reprezentacji treści stanowiącej istotę przekazu informacji. Wyjaśnione więc zostaną techniczne uwarunkowania pomiaru, który służy pozyskaniu tak cennej dla multimediów informacji. Spróbujemy odpowiedzieć na pytania, jak wiernie rejestrować poznawaną rzeczywistość, jak zmierzyć sygnał, który ją opisuje, jak unikać błędów i przekłamań, jak określić zasady, formy i sposób realizacji pomiarów, by zapewnić  warunki wystarczające do pozyskania pełnej informacji o wydarzeniu, zjawisku czy niezwykłej, rzadkiej, chwilowo zaistniałej sytuacji.

Sygnałem jest zapis zmiany ciśnienia czy gęstości materiału, temperatury, liczba fotonów padających na określoną powierzchnię, czy też zmieniające się natężenie pola elektromagnetycznego. Odpowiednie sensory umożliwiając rejestrację mniej lub bardziej chwilowej wartości mierzonej wielkości fizycznej nie są wolne od zniekształceń, szumów czy zakłóceń efektu końcowego. Stała rejestracja wielkości  mierzonych pozwala uzyskać ciągły w kolejnych chwilach czasowych sygnał analogowy. Bezpośrednie lub pośrednie przekształcanie tego zapisu w sygnał cyfrowy daje ''rozumiany'' przez skomputeryzowane dziś technologie strumień danych -- przedmiot transmisji informatywnych sygnałów do odbiorcy. 

Po teoretycznej części wstępnej, przedmiotem zainteresowania stanie się pomiar sygnałów realnych za pomocą przykładowych systemów rejestracji sygnałów, przede wszystkim obrazu i dźwięku. Szczególne znaczenie ma tutaj specyfika zmysłu wzroku i słuchu, czyli zdolności percepcji odbiorcy informacji. Jeszcze bardziej istotne są zdolności poznawcze treści, rozumienie istoty przekazu, odkrycie znaczenia informacji, a przede wszystkim trafne/owocne jej wykorzystanie przed odbiorcę. Jeszcze bardziej znaczącym sukcesem w sensie ogólnym jest zdobycie i rozwój ogólnej wiedzy poznawczej, zdobycie mądrości prowadzące do prawdy, czyli pełnego poznania rzeczywistości. 

Poprawę jakości mierzonych sygnałów osiąga się zwykle poprzez wstępne przetwarzanie sygnałów, zwykle poprawiające stosunek sygnału do szumu, rekonstruujące sygnał w dziedzinie percepcji treści przekazu przez odbiorcę. 

Końcowym etapem jest opis cech rejestrowanego sygnału,  wstępna charakterystyka jego właściwości, często prowadząca do wyspecyfikowania rodzaju i zakresu przenoszonej informacji. Jest to opis niskopoziomowy, dotyczący podstawowych cech sygnału bez analizy jego walorów semantycznych, bez rozpoznawania znaczeń i prób interpretacji przenoszonej treści.

Efektem końcowym jest uformowanie źródłowej, cyfrowej wersji przekazu danych. To jest nasz cel w tych rozważaniach, tj. określenie warunków pozyskania cennej informacji z wykorzystaniem odpowiednich technologii, by można było uformować sygnał cyfrowy zawierający pomierzone i odpowiednio ukształtowane dane. W tych danych ukryte są nowe treści, interesujące dla odbiorcy. Dalszą ich obróbką zajmiemy się w kolejnych modułach. 

Ta część dotyczy problemu skutecznego reprezentowania informacji, zwracając uwagę tak na aspekty składni, ogólniej syntaktyki, jak i semantyki. Wybór przestrzeni opisu sygnałów, usuwanie nadmiarowości, docieranie do form przekształceń porządkujących i dobrze opisujących przekaz ogrywają kluczowe znaczenie w efektywnym kodowaniu i indeksowaniu danych. Dobór sposobu reprezentacji danych możliwie zwartej, a jednocześnie odnoszącej się do przejrzystych znaczeń wyrażanych przez nie treści wpływa na użyteczność każdej aplikacji multimedialnej. 

Kluczowym elementem technologii i zastosowań multimediów jest przekaz informacji. Ten przekaz rozpoczyna się od pozyskania informacji. Można ją zdobyć w przeróżny sposób: coś usłyszeć, zobaczyć, skojarzyć czy po prostu przemyśleć głęboko jakiś problem i dość do oryginalnych wniosków na podstawie doświadczeń własnych lub cudzych itp.. Taką informację można przekazać werbalnie, można to coś opisać lub namalować, a nawet wyśpiewać. 

Nowoczesne technologie pozwalają taki proces przekazu zdecydowanie przyspieszyć, zwiększyć jego zasięg, skale, powtarzalność, trwałość, dając możliwość formalnego opisu informacji, porównania do innych przekazów danych, mogą ubogacić formę przekazu zwielokrotniając siłę jej oddziaływania, a nawet dokonać weryfikacji jakościowej i interpretacji przekazywanej treści w odniesieniu do bogatych zasobów danych czy wiarygodnych źródeł wiedzy. Jednak najcenniejsza jest możliwość synchronicznego łączenia kilku strumieni przekazu, niekiedy na bieżąco, jego przetworzenia i dostosowania do warunków przekazu oraz sposobu prezentacji zgodnego z potrzebami odbiorcy. Technologie/techniki multimedialne udoskonalają na różnych płaszczyznach kontakt nadawcy z odbiorcą, jednak istotą, rdzeniem jest przekazywana informacja. Sposób jej zdobycia czy pozyskania jest więc niezwykle istotny, dzięki współczesnym możliwościom technicznym może być doskonalszy, pełniejszy, lepszej jakości, bardziej wiarygodny, obiektywny. 

Ta część dotyczy problemu skutecznego reprezentowania informacji, zwracając uwagę tak na aspekty składni, ogólniej syntaktyki, jak i semantyki. Wybór przestrzeni opisu sygnałów, usuwanie nadmiarowości, docieranie do form przekształceń porządkujących i dobrze opisujących przekaz ogrywają kluczowe znaczenie w efektywnym kodowaniu i indeksowaniu danych. Dobór sposobu reprezentacji danych możliwie zwartej, a jednocześnie odnoszącej się do przejrzystych znaczeń wyrażanych przez nie treści wpływa na użyteczność każdej aplikacji multimedialnej. 

3. Definiowanie informacji

Reprezentowanie informacji jest zagadnieniem istotnym w każdym niemal zastosowaniu, a w różnych formach i postaciach jest także obecne w rozważaniach wielu teorii abstrakcyjnych i stosowanych. W uproszczeniu, można posłużyć się następującym schematem. By przekazać informację, istotny jest przede wszystkim sposób jej wyrażenia -- zrozumiały dla odbiorcy, ale niezbędny jest także fizyczny nośnik przekazu oraz zorganizowana forma technicznego czy technologicznego zapisu danych, czyli jej reprezentacja. Wymagana jest określona reguła tworzenia reprezentacji danych, czyli kod ustalony na etapie akwizycji (dający źródłową reprezentację danych), bądź też w dalszym procesie przekazywania i przetwarzania danych przenoszących informację (np. reprezentacja kodowa uzyskiwana wskutek kompresji danych). W sposób jawny lub niejawny, wprost lub pośrednio reprezentacja ta zawiera elementy opisu danych, w tym pewne odnośniki do ich semantyki. Zależnie od zastosowań, celów wykorzystania danych czy charakteru zawartej treści poszukiwane są skuteczne formy reprezentacji informacji.

Zarys teorii użytecznych przy wyznaczaniu efektywnej reprezentacji informacji to przede wszystkim:

• podstawy teorii sygnałów, przy czym sygnały rozumiane są przede wszystkim jako nośnik informacji czy też urealnienie przekazu informacji w naturalnych warunkach akwizycji, ucyfrowienia i kodowania sygnałów;
• zarys teorii informacji, zarówno w jej probabilistycznej koncepcji składniowej (prace Shannona), jak też w rozszerzeniu do semantycznej teorii informacji;
• podstawy teorii aproksymacji, jako poszukiwanie przybliżeń treści istotnych przekazu informacji, nawiązujących zarówno do liczbowej charakterystyki sygnału, jak też jego warstwy znaczeniowej (semantyki), odwołującej do określonego modelu odbiorcy;
• charakterystyki odbiorcy informacji, zdolności percepcji treści, np. ludzkiego systemu widzenia -- ang.  visual system czy też pracy odbiorcy ze źródłami informacji, rozpoznawanie treści, jej interpretacja -- metoda ROC (ang. receiver Operating  Characteristic);
• metody inteligencji obliczeniowej, przede wszystkim w zakresie wyszukiwania, ekstrakcji czy rozpoznawania informacji, a przede wszystkim jej interpretacji.

Rozdział ten obejmuje podstawy teorii informacji, zarówno w sensie matematycznej koncepcji informacji rozumianej jako poziom niepewności odbiorcy, jak też jej semantycznych rozszerzeń, tak istotnych w aplikacjach multimedialnych.  Tzw. matematyczna teoria informacji abstrahuje od specyfiki zastosowań nadawanej semantycznymi modelami informacji, wymaganiami dotyczącymi charakterystyki użytkownika (odbiorcy informacji), określonej specjalistyczną wiedzą dziedzinową. Dzięki temu dostarcza modele źródeł informacji, które są przejrzyście sformalizowane, obiektywne, bardziej uniwersalne i podatne na zaawansowane rozwiązania numeryczne, optymalizacyjne, porównawcze. Poprzez semantyczne rozszerzenia tych modeli możliwa jest selekcja informacji w metodach kompresji, ekstrakcja treści istotnej z zaszumionego sygnału źródłowego, a za pomocą deskryptorów treści tworzone są mechanizmy przeszukiwania zawartości rozległych zasobów danych multimedialnych zgodnie z oczekiwaniami użytkownika.

3.1. Wprowadzenie

Informacja służy odbiorcy w realizacji określonego celu. Przekaz danych dokonuje się zawsze w kontekście określonej treści, tj. funkcji semantycznej oraz jej wartości dla odbiorcy, czyli użyteczności. Precyzyjnie określając semantykę, śledząc jej zmiany przy selektywnej lub zakłóconej komunikacji danych pośrednio definiujemy również użyteczność tych treści. Pozwala to na automatyczne wyznaczenie ilości informacji z uwzględnieniem jej semantycznych właściwości.

Podstawowy schemat przekazu informacji jest następujący: 

• dane (w reprezentacji źródłowej, nad określonym alfabetem),
• znaczenie danych (przypisane pojedynczym symbolom, grupie symboli), 
• treść (rozpoznanie obiektów, integracja znaczenia obiektów, znaczenie relacji pomiędzy obiektami, efekt synergii), 
• informacja (relacja rozpoznana treść (gdzie pewną rolę odgrywają także źródło informacji, zdolność percepcyjna oraz interpretacyjna odbiorcy) -- odbiorca  źródło, wiedza i doświadczenie).

3.2. Informacja

Punktem odniesienia przekazu informacji jest odbiorca, jego cele i poczucie użyteczności. Przesyłane dane mają określone znaczenie, opisane funkcją semantyczną, które kształtuje treść przekazu. Odbiorca rozumiejąc treść danych, weryfikuje ich użyteczność. Odbiera informację lub uznaje przesłane dane za bezużyteczne. Nadawca formując przekaz stara się zaspokoić domniemane potrzeby odbiorcy.    

Wymiana informacji, o możliwie atrakcyjnej treści oraz stosownej formie (reprezentacji), jest podstawową funkcją szeroko rozumianych multimediów. Zarówno sposób -- bezpośredni przekaz (komunikacja) lub pośrednicząca archiwizacja, jak i forma uzupełniających się strumieni danych o charakterze zróżnicowanym w sensie sposobu percepcji przekazywanej treści służy wiarygodnej i użytecznej komunikacji nadawcy z odbiorcą.

Zakładając sensowność procesu wymiany danych, należy doszukiwać się występującej tam informacji, przyjmując  ogólny schemat nadawcy i odbiorcy spiętych ustaloną formą kanału transmisyjnego o charakterze pozytywnym. Pozytywny znaczy choćby w minimalnym stopniu użyteczny, gdzie obok danych i treści nadmiarowych pojawia się choćby ślad informacji nadającej sens całemu przedsięwzięciu. Informacja jest wtedy sensem i istotą przekazu bez względu na jego charakter. Dlatego efektywne reprezentowanie informacji stanowi podstawowe zagadnienie wszystkich aplikacji multimedialnych.

Przekaz informacji poprzedzony jest procesem pozyskiwania informacji -- niekiedy kosztownym, innym razem dość  przypadkowym, -- bazującym na złożonych, kosztownych technologiach lub przede wszystkim na ludzkiej spostrzegawczości. Pozyskanie treści jest niekiedy bardzo trudne i musi być uzupełnione złożonym procesem wydobywania treści z nadmiaru rejestrowanych danych. Istotnym okazuje się wtedy problem ekstrakcji czytelnej postaci informacji z jej formy niejawnej, subtelnej, zniekształconej, itp. Rejestrowany sygnał -- ciąg danych staje się nośnikiem określonej treści, która rozpoznawana jest jako informacja w kontekście jej użyteczności. Przekaz treści stanowiącej informację w szerokiej skali społecznej koncentruje dziś uwagę twórców najbardziej ambitnych rozwiązań w obszarze mediów cyfrowych, multimediów, telewizji, internetu, technik komputerowych i wielu innych. 

Doskonalenie form przekazu oraz rosnąca cena wartościowej informacji charakteryzują współczesny rozwój sieciowego społeczeństwa informacyjnego, niezbyt szybko (a może wcale?) zmierzający w kierunku wizji nowoczesnego społeczeństwa wiedzy. Wyraźny nadmiar powielanych, sztampowych treści i pseudo-treści, które, rozsyłane, pretendując do miana informacji ''szukają łatwego zysku'', powoduje stały wzrost znaczenia wolności wyboru w wymiarze osobistym i społecznym. Intencje nadawcy nie są zwykle jednoznaczne, a korzyści odbiorcy są często rozumiane ''interesownie''. Nadawca formując przekaz stara się spełnić domniemane oczekiwania odbiorcy, albo je biznesowo kreować. Rozpoznanie informacji bazującej na przekazie prawdziwych, otwartych treści staje się sztuką, ale i koniecznością. Czas odbiorcy staje się cenny dla nadawcy, ale przede wszystkim dla samego odbiorcy. Rośnie znaczenie filtrów, automatycznego rozpoznawania treści użytecznych, innych form preselekcji przekazu.

Wymagający odbiorca korzysta z wolności wyboru źródeł przekazu, interesuje się wiarygodnością otrzymywanych danych, oddziela ewentualny komentarz czy narzuconą interpretację. Wybiera przyjazne, sprawdzone formy, by dotrzeć do istoty przekazu, rdzenia odczytywanych treści, weryfikuje ich prawdziwość. Skuteczna weryfikacja warunkowana jest dostateczną jakością danych, czytelnością treści, jej uporządkowaniem, klarownością. 

Kluczowym zagadnieniem, które służy odbiorcy jest efektywne reprezentowanie informacji, czyli konwersja przekazu danych w prezentację informacji z kryterium maksymalnej użyteczności odbiorcy. Przedstawione w tej pracy zagadnienia służą przede wszystkim zrozumieniu teoretycznych i praktycznych podstaw pojęcia reprezentowanej informacji. Według założonej koncepcji wspomagania procesu przekazu, wykorzystanie ''podanej'' informacji leży w gestii odbiorcy.
 

3.3. Reprezentacja danych

Reprezentacja danych to sposób przedstawienia lub inaczej organizacji danych. Dane w maszynach cyfrowych mają swoją reprezentację w postaci sekwencji bitów kodu dwójkowego, kodów bardziej złożonych, łączonych w bajty, wielobajtowe słowa, bloki. Są one interpretowane w terminach wewnętrznych typów danych określonej dziedziny, struktury, za pomocą operacji na liczbach lub znakach tekstu, jako liczby całkowite i ułamki, itp.

Reprezentacja danych może być rozumiana na różnych poziomach abstrakcji. Uwzględniając znaczenie i charakter danych może być orientowana na określoną treść, hierarchię istotności, wydzielenie sygnału i redukcję szumu, uporządkowanie według przyjętych kryteriów. Sposób kształtowania reprezentacji danych może być różnorodny, zwykle jednak przebiega według typowego, nie zawsze pełnego schematu: 

• reprezentacja źródłowa, opisana najprostszym kodem, np. dwójkowym;
• reprezentacja wstępnie przetworzona, z redukcją szumu i poprawionym kontrastem; 
• reprezentacja estymowanego sygnału, z wydzieloną treścią użyteczną;
• reprezentacja upakowana, rzadka, po usunięciu nadmiarowości, uporządkowana, ze strukturą hierarchii, skalowalna;
• reprezentacja morfologiczna, z wydzieleniem składników, semantyczną kompozycją treści przekazu informacji.

3.4. Reprezentacja informacji

3.5. Nośniki informacji

Nośniki informacji, czyli ogólnie sygnały są bardzo ważnym elementem konstruowanych aplikacji multimedialnych. Sposób ich definiowania, opisu, kształtowania, modulacji treścią są nierozerwalnie związanie z zasadniczym celem skutecznego przekazu informacji. Dopasowanie sygnałów do charakteru treści, istotnych właściwości przesyłanych danych, ale też do natury opisywanego zjawiska czy faktu jest fundamentalnym, bo bardzo pragmatycznym zagadnieniem inżynierii multimediów.

3.6. Wyrażanie informacji

Treść przekazu staje się informacją w określonych okolicznościach. Treść ta może mieć charakter immanentny lub transcendentny. Przekaz immanentny towarzyszy zwykle rejestracji jakiegoś zjawiska fizycznego, obserwacji jego niedostepnej natury, odczytu stanu czujników śledzących przebieg zakrytych przed obserwatorem zdarzeń, wymaga odpowiedniego, często specjalistycznego odczytu przez fachowców, a interpretacja danych ma wtedy zawsze charakter informacji (stwierdzenie, że nic się nie dzieje w interesującym obszarze też jest informacją). 

Przekaz transcendentny jest zwykle zamierzony, zbudowany na bazie zewnętrznych, uogólniających obserwacji, treść znamionująca informację jest ogólnie rozpoznawalna, podobnie interpretowalna, rozumiana dość jednozacznie tak przez nadawcę, jak i przez typowego odbiorcę, a wybór formy, sposobu i technologii przekazu jest zwykle dobierany ze względu na charakter i właściwości tej treści.

Możliwe są też rozwiązania hybrydowe, niejednoznaczne, wynikające np. z różnego rozumienia treści przez nadawcę i odbiorcę (to co było celem przekazu i miało stanowić informację okazało się nieistotne, natomiast inna właściwość przekazanej treści może okazać się przydatna odbiorcy). Może to niekiedy powodować zniekształcenie przekazu ze względu na nieodpowiednio dobraną technologię przekazu. 

Różna w charakterze i formie treść może być zawarta w sygnale ciągłym, dyskretnym, cyfrowym. W grę może wchodzić zbiór danych o charakterze jednolitym, zbiory danych wzajemnie referujące na siebie, ze znacznikiem upływającego czasu lub też asynchronicznym odwoływaniem się do pewnej sekwencji zdarzeń, itp.
 

4. Pomiar sygnałów

Informacje zbierane są poprzez pomiar realnych sygnałów. Rejestracja rzeczywistych sygnałów ma swoje ograniczenia.

4.1. Ograniczenia procesu rejestracji danych

Praktyczne cele rejestracji sygnałów mogą być różnorakie -- przykładowo:

• utrwalenie chwili (fotografia, film, historyczna kopia zdarzeń) o takich cechach jak
  • wierny, specyficzny, wysokiej jakości,
  • dogodny w dalszej obróbce,
  • o istotnych walorach treściowych,
  • podatny na długoczasowe przechowanie,
  • dostosowany do przewidywanych form odtwarzania (percepcji przez użytkownika);
• zdobycie informacji (niedogodności zapisu, duże koszty organizacyjne, wyjątkowość sytuacji, szybki przekaz), gdzie ważne jest 
  • ukształtowanie przekazu informacji (selekcja),
  • zapewnienie wystarczającej jakości zapisu,
  • uzupełnienie metodami obróbki ograniczeń uwarunkowań rejestracji; 
• obserwacja natury, rzeczywistości (badania i eksperymenty, zdobycie wiedzy o świecie, obiektywizm, kompleksowość zapisu określonego stanu czy zbioru faktów, rozumienie i odzwierciedlenie praw natury) wymagające takich zasad rejestracji jak
  • rzetelne i wiarygodne dostosowanie do realiów,
  • wtopienie w istotę zapisywanych zjawisk, cierpliwe naśladowanie procesów i zachowań, podpatrywanie bez ingerencji czy zmiany naturalnych uwarunkowań (obojętność względem natury zjawisk),
  • konsekwencja w tropieniu prawdy;
• wykorzystanie natury (symulowanie świata, modelowanie) dające
  •  wiarygodny świat wirtualny, tworzący nowe możliwości i szanse na bazie analizowanych, wyczerpujących zapisów natury, pozwalający dostosować realia do ograniczeń percepcji użytkownika (powodowanych np. brakiem możliwości przebywania, chorobą, upośledzeniami),   
  • formalny model zjawisk, który pozwala rozszerzać rzeczywistość z zachowaniem kluczowych cech natury, udostępniać na szeroką skalę, uczyć zrozumienia istoty zjawisk;
• rozwój świata technologii cyfrowych, a więc
  • koncepcji internetu, cyfrowego odbicia rzeczywistości bez szeregu naturalnych ograniczeń powodowanych ciągłością czasu i miejsca, globalnego kontaktu i dostępu, 
  • komunikacji bez granic, bezprzewodowego, szerokopasmowego przepływu danych na niewyobrażalną skalę,
  • personalnych urządzeń komputerowych ze zdolnością obróbki każdego cyfrowego odbicia realiów dowolnego miejsca i chwili.

Różnorodne metody, urządzenia czy systemy rejestracji danych definiowane są poprzez:

• fizyczne podstawy różnych koncepcji rejestracji sygnałów, czyli
  • wykorzystanie właściwych zjawisk fizycznych, umożliwiających pomiar istotnych cech rejestrowanej rzeczywistości; 
  • ewentualne zastosowanie konwersji sygnału jako nośnika informacji do innej formy przenoszenia energii, umożliwiającej wyższej jakości pomiar informacji (np. konwersja promieniowania rentgenowskiego na świetlne za pomocą scyntylatorów w cyfrowych detektorach radiografii rentgenowskiej -- dopiero fotony o zdecydowanie niższej energii mogą być skutecznie wyłapywane przez macierze CCD czy też fotodiody sprzężone z przestrzennie dyskretnymi macierzami tranzystorów TFT (thin film transistors z amorficznego krzemu);
  • projektowanie czujników/detektorów do konwersji rozkładów mierzonych wielkości fizycznych na energię elektryczną (przepływ ładunków) z zachowaniem geometrii, przestrzennych relacji i możliwej zupełności rejestrowanej treści; 
  • konstrukcja urządzeń i systemów zapewniających odpowiednie warunki pomiarów: a) w założonych zakresach dynamiki zmian (odpowiednio szerokich, lecz nie nadmiarowych); b) dotyczące relacji czasowych (zarówno co do czasu trwania pojedynczego pomiaru, jak i niezbędnej liczby pomiarów danej wielkości) i innych okoliczności wynikających z zastosowań;
  • zapewnienie stabilności warunków rejestracji z kontrolą i śledzeniem kluczowych parametrów tego procesu (przede wszystkim stosunku sygnał/szum, zdolności rozdzielczych, zakłóceń, wiarygodności);
• zasady rejestracji sygnałów cyfrowych, uwzględniające:
  • reguły próbkowania, kwantyzacji i kodowania stosowane w uniwersalnych przetwornikach analogowo-cyfrowych A/C, bądź też w określonym systemie (układzie) akwizycji sygnałów -- czego efektem jest postać cyfrowej reprezentacji sygnałów;
  • procedury wstępnego przetwarzania danych, służące ulepszeniu sygnału poprzez redukcję znanych z góry   ograniczeń danego systemu rejestracji (np. redukcji szumów poprzez uśrednienie sygnałów z kilku kanałów pomiarowych, wycięcia składowych pasożytniczych czy też wzmocnienia składowych użytecznych, wprowadzenia dynamicznego wzmocnienia sygnału rejestrowanego zależnie od czasu propagacji przez obszar mierzony);
  • zasady gromadzenia danych, dotyczące sposobu formowania/rekonstrukcji cyfrowego sygnału zapisu oraz wyznaczania postaci reprezentacji dostosowanej do uwarunkowań systemu cyfrowego danej aplikacji; chodzi tutaj m.in. o uwzględnienie wymagań dotyczących: a) czasowej przepustowości strumienia przechwytywanych danych oraz wynikającej z tego koniecznej wydajności czasowej zapisu danych; b) standaryzacji formatu gromadzonych danych, co może pociągać za sobą konieczną konwersję (na bieżąco) reprezentacji danych zgodnie z wymogami określonej normy; c) dostosowania do uwarunkowań ewentualnej transmisji na bieżąco (\emph{on-line}) rejestrowanych danych, w tym standaryzacji formatu danych, wymogów wprowadzania wydajnych mechanizmów kolejkowania i buforowania, dostosowujących czasowe uwarunkowania rejestracji do zmiennych czasowo parametrów kanału transmisyjnego.  

Ograniczenia metod rejestracji sygnałów dotyczą m.in. takich czynników jak:

• ogólna wiarygodność pomierzonego odbicia rzeczywistości względem zaistniałych realiów (przede wszystkim w zakresie podstawowych właściwości występujących obiektów i ich wzajemnych relacji, a także kompletności zbieranej informacji, uwzględnienia występujących efektów maskowania istotnych cech sygnału, selektywnego wzmacniania itp.),
• poziom i charakter występujących szumów,
• rodzaj i intensywność artefaktów, ogólniej zakłóceń,
• zdolność rozdzielcza zestawu pomiarów (możliwa skala dokładności) akwizowanych danych, jej charakter przestrzenny (kierunkowy, czy też geometryczny) oraz czasowy,
• zakres dynamiki pozwalający z wystarczającą czułością, ale i specyficznością różnicować zapisywaną treść.  

Ograniczenia te stanowią istotną przeszkodą w percepcji, analizie czy interpretacji gromadzonej informacji, w kontekście określonych form jej użytkowania wielu różnorodnych zastosowań. Wymagana jest wtedy obróbka danych zmierzająca do poprawy ich użyteczności w ramach dostępnych środków sprzętowych, przy istniejących ograniczeniach realizacyjnych (dotyczących złożoności obliczeniowej, zależności czasowych, natury treści przekazu, zakresu możliwych metod i koncepcji itp.). Przykładowo w zastosowaniach medycznych stosowanie metod obróbki, które nie dają pewności zachowania wszystkich, nawet najdrobniejszych szczegółów, mogących mieć znaczenie w rozpoznaniu patologii, budzi zasadniczy sprzeciw. Dochodzą w tym przypadku także uwarunkowania rekonstrukcji jako rozwiązania problemu odwrotnego. Z kolei dostępna szybkość przetwarzania danych multimedialnych, zestawiona z rozmiarami strumienia danych wymagających obróbki, może okazać się niewystarczająca.  

Zarys metod rejestracji i prezentacji danych multimedialnych, krótki opis stosowanych urządzeń sygnalizuje olbrzymią rolę systemów wejściowych, dostarczających danych źródłowych oraz wyjściowych, efektowych, służących postrzeganiu i rozumieniu treści przekazu przez użytkownika.
Wierny zapis (rejestracja) stanu rzeczywistości, unikalnej, będącej źródłem ważnych informacji w przekazie, rzeczywistości z natury wielomodalnej, jest podstawowym elementem sprawnych systemów multimedialnych. 

Rejestracja danych multimedialnych jest bardzo ważnym etapem pozyskiwania informacji, przekazywanej w kolejnych etapach do odbiorcy. Różnorakie aspekty zjawisk fizycznych o odmiennej charakterystyce są rejestrowane za pomocą dostosowanych czujników, rejestratorów, złożonych systemów akwizycji, czyli ogólnie specjalistycznych urządzeń pozyskiwania danych. Zapewnienie możliwie wysokiej jakości pozyskiwanych danych oraz wyznaczenie efektywnej ich reprezentacji decyduje często o użyteczności całej aplikacji multimedialnej.

Zapis rejestrowanej treści powinien być wierny, specyficzny, dogodny w dalszej obróbce oraz dostosowany do przewidywanych form odtwarzania czy ogólniej użytkowania. Warto też uwzględnić przewidywane formy kształtowania przekazu informacji, możliwą regulację jakości danych czy też selekcji treści użytecznych. 

Różnice pomiędzy systemami akwizycji danych dotyczą przede wszystkim takich dwóch podstawowych aspektów jak:

• fizyczne podstawy wykorzystywanych w rejestracji zjawisk:
  • wykorzystanie właściwych zjawisk fizycznych (pomiaru cech obiektów), odpowiednich materiałów, zasad i innych uwarunkowań pomiaru;
  • wybór właściwych technologii, konstrukcja urządzeń i systemów;
  • projektowanie zestawu czujników/detektorów wraz z mechanizmami odczytu danych;
  • kontrola jakości rejestracji;
• zasady uzyskania sygnałów cyfrowych:
  • dyskretne, przestrzenno-czasowe struktury rejestracji danych;
  • przetworniki A/C;
  • mechanizmy próbkowania, kwantyzacji i kodowania;
  • formowanie/rekonstrukcja sygnału rejestrowanego;
  • wstępne przetwarzanie, ustalanie reprezentacji wyjściowej.

4.2. Obraz

4.3. Dźwięk

Dźwięk wysokiej technicznie jakości rejestrowany jest w studiach nagrań, aczkolwiek spontaniczne zapisy niskiej klasy mikrofonami, np. aparatów komórkowych, mogą być bogate w wyjątkową, zaskakującą, informacyjną treść. 

Do interesujących zagadnień należy analiza cech sygnału dźwiękowego, jak też procedura nagrywania dźwięku z wykorzystaniem odpowiedniej sali nagrań, zestawu mikrofonów, stołu mikserskiego i całego zestawu metod przetwarzania, edycji, masteringu dźwięku. 

Studio nagrań to przede wszystkim sala nagraniowa oraz reżysernia. Typowe studia nagrań mają uniwersalne, bądź bardziej specjalistyczne przeznaczenie, zależenie przede wszystkim od rozmiarów sali nagrań oraz czasu pogłosu, a także rodzaju i klasy mikrofonów oraz systemów mikrofonowych. Nagrania muzyki rozrywkowej, orkiestrowej czy filmowej wyposażone są w reżysernie ze stołem mikserskim, monitorami do odsłuchu obrabianego dźwięku, zewnętrzne, dodatkowe procesory dźwięku i wzmacniacze, urządzenia do zapisu sygnałów dźwiękowych oraz archiwizacji nagrań. Wśród procesorów dźwięku warto wymienić:

• regulatory głośności, tłumiki;
• korektory barwy dźwięku: graficzne, parametryczne; 
• procesory dynamiki: automatyczna regulacja wzmocnienia, kompresor, limiter, ekspander, bramka szumowa;
• procesory efektowe: pogłos, opóźnienie, studnia, zmiana wysokości dźwięku, różne efekty przestrzenne.   

Szczególnie istotnym elementem systemów rejestracji dźwięku są mikrofony, które przetwarzają odbierany sygnał (energię) akustyczny na elektryczny, następnie wzmacniany i przetwarzany. Współczesne studia nagrań wykorzystują całe zestawy mikrofonów o dobranych charakterystykach częstotliwościowych i kierunkowych (techniki mikrofonowe), skutecznie rejestrując przestrzenny rozkład fali akustycznej -- rys. 11. 

Skuteczność mikrofonu w polu akustycznym swobodnym jest to stosunek napięcia na nieobciążonym wyjściu mikrofonu do wartości ciśnienia akustycznego przy określonej częstotliwości
i kierunku padania dźwięku. Zaś charakterystyka kierunkowa to rozkład  względnej skuteczności mikrofonu w funkcji kąta padania dźwięku na powierzchnię mikrofonu, odniesionej do maksymalnej skuteczności przy kierunku padania fali dźwiękowej 0°. Wśród podstawowych technologii wymienić należy mikrofony węglowe (działającej na zasadzie zmian rezystancji proszku węglowego ściskanego przez membranę, powodujących zmiany przepływającego prądu), dynamiczne (cewkowe, wstęgowe, wykorzystujące zjawisko indukcji elektromagnetycznej), pojemnościowe (zmiany pojemności), elektretowy (zmiany pola elektrycznego) czy optyczny.      

Rys. 11 Nagrania dookólne w instytucie NHK w Japonii (Fukada): po lewej - nagranie muzyki kameralnej, po prawej - nagranie muzyki jazzowej (źródło: zaczerpnięte z (http://sound.eti.pg.gda.pl/student/tn/techniki\_mikrofonowe2.pdf).

5. Ocena jakości sygnałów

Kryteria oceny jakości obrazów nie są jednoznaczne. Zwykle obraz jest dobrej jakości, gdy według percepcji wzrokowej wygląda ''przyjemnie'', czyli jest odpowiednio skontrastowany, z dobrze widocznymi szczegółami, z naturalną paletą barw,  nie ma rzucających się w oczy zniekształceń, artefaktów, a treść jest rozpoznawalna, czytelna, zrozumiała.  Niekiedy o wysokiej jakości obrazu świadczy jego specyficzna użyteczność w określonym zastosowaniu, niekoniecznie związana z wysokiej jakości wrażeniem ogólnym, np. dobrze są rozpoznawalne istotne szczegóły obrazowanych struktur, których detekcja jest zasadniczym celem stosowania metod obrazowych (tak jest w radiologii, przy rozpoznawanie zmian patologicznych w obrazach medycznych). 

Nie istnieje niestety jedna skuteczna miara pozwalająca określić jakość obrazu. Można generalnie wyróżnić następujące metody oceny jakości obrazów:

• obliczeniowe miary zniekształceń -- wielkości liczbowe skalarne bądź wektorowe, formy graficzne, wyznaczane automatycznie według ustalonych reguł matematycznych, a więc powtarzalne, porównywalne, obiektywne, niekiedy uwzględniające modele ludzkiego widzenia i postrzegania treści obrazowej;
• miary obserwacyjne, będące efektem testów subiektywnej oceny jakości -- psychowizualne testy oceny jakości przeprowadzane przy pomocy typowych użytkowników, bądź też grona specjalistów danej dziedziny według ustalonych procedur, z wykorzystaniem liczbowej skali ocen, z przypisanym znaczeniem poszczególnych poziomów ocen, lub też mechanizmu porządkowania obrazów w kolejności zgodnej z postrzeganą jakością obrazów;
• obliczeniowo-obserwacyjne miary jakości -- wektorowe, złożone miary obliczeniowe optymalizowane wzorcem z testów subiektywnej oceny jakości obrazów.

Ze względu na sposób oceny, metody te możemy podzielić na:

• miary absolutne, bezwzględne (univariate),
  • liczbowe, takie jak miary kontrastu, parametry histogramów, przekrojów rozkładu funkcji jasności, estymatory poziomu szumów z widma spektralnego, kierunkowe współczynniki korelacji, parametry modeli regresji  itp.,
  • graficzne, przykładowo miara Eskicioglu, będąca słupkowym rozkładem dynamiki, odchyleń standardowych oraz liczebność klas bloków diadycznych o rozmiarze od 2x2 do 16x16, na jakie dzielony jest obraz.
• miary porównawcze, względne (bivariate)
  • liczbowe, takie jak błąd średniokwadratowy, stosunek sygnału do szumów itp.,
  • graficzne, przykładowo wykresy Hosaki \cite{Hosaka}, będące wykreślonym na płaszczyźnie wielokątem ukazującym różnice wartości średnich oraz odchyleń standardowych w kilku klasach bloków o różnym rozmiarze, na jakie dzielony jest obraz.

Wśród metod oceny jakości obrazów przede wszystkim ze względu na ich użyteczność, wymienić należy przede wszystkim specjalistyczne testy użyteczności obrazów -- złożone, dotyczące konkretnej aplikacji testy obserwacyjne bazujące na możliwie wiernej symulacji rzeczywistych warunków pracy z obrazami (detekcji określonych elementów, interpretacji treści), opiniach obserwatorów-specjalistów wyrażanych w formach liczbowych, możliwie wiernie symulujących realia oceny treści obrazów oraz wnikliwej analizie statystycznej odpowiednio opracowanych wyników testów klasyfikacyjnych. 

Przykładem takiej oceny mogą być testy detekcji patologii w medycznych badaniach diagnostycznych z udziałem specjalistów-radiologów. Obrazy medyczne określonej modalności (ultrasonografii, tomografii komputerowej, rentgenowskie itp.) interpretowane są ze względu na obecność określonego rodzaju podejrzanych zmian patologicznych, a efekty podjętych decyzji diagnostycznych poddawane są analizie statystycznej z wykorzystaniem krzywej ROC (Receiver Operating Characteristics) 

5.1. Obliczeniowe miary jakości

5.2. Miary obserwacyjne