Podręcznik

1. Multimedia, podstawowe pojęcia i definicje

Multimedia stały się ważnym składnikiem życia codziennego współczesnego człowieka. Często są narzędziem jego pracy intelektualnej i zawodowej, przyczyniają się w istotny sposób do zniesienia bariery czasu i przestrzeni pomiędzy ludźmi. Ubogacają komunikację, często są niezbędnym elementem rozrywki, nauki, poznania, wyrazu artystycznego, nowych doświadczeń. Odgrywają coraz większą rolę we wspomaganiu diagnosty medycznej, leczeniu, profilaktyce. Dla osób niepełnosprawnych są szansą skutecznej rehabilitacji, ale też aktywnego udziału w życiu świata. W rozwoju współczesnych multimediów ważny okazał się rozwój technologii doskonalących formy przekazu (telekomunikacja, teleinformaty-ka), umożliwiających hierarchiczne osadzanie treści, odwołania do ogólnie dostępnych,dynamicznych źródeł wiedzy, prostą interakcję na odległość itp.  Istotne stało się pojawienie pojęcia hipertekstu, czyli tekstu, w którym wszystkie ważniejsze pojęcia mają ”niewidoczne” odnośniki (hiperłącza) encyklopedyczne i słownikowe. Odnośniki te za jednym kliknięciem przywołują teksty informacyjne odwołujące się to innych terminów i pojęć kluczowych, o których można by otrzymać informacje objaśniające itd. Miało to olbrzymie znaczenie dla rozwoju Internetu, ale też nowoczesnych nośników typu CD-ROM, a więc także dla multimediów. Współczesna definicja multimediów nie jest prosta. Można o nich mówić w różny sposób, można je rozumieć odmiennie, można wreszcie przypisywać im różną rolę praktyczną, a więc odnosić je do różnego typu zastosowań. W kręgu artystów chodzi o identyfikację praktyk twórczych o charakterze interdyscyplinarnym, łączących rozmaite elementy wizualne i środki ekspresji, takie jak: filmy, muzyka, słowo mówione, projekcje świetlne, taniec, rysunek, malarstwo, grafika, fotografia, itp. Przy czym często sztukę multimedialną definiowano w kategoriach tzw. kultury komputerowej, wspomaganej efektami grafiki komputerowej, wirtualną rzeczywistością, przekazem internetowym. Zasadnicze znaczenie słowa ”multimedia” występuje w kontekście realnego, czyli aktualnego i zamierzonego przekazu informacji. Informacja, w pierwszym przybliżeniu, to dane z przypisaną treścią, która jest użyteczna dla odbiorcy (prawdziwie lub domniemanie). Informacja przekazywana w danej chwili ma formę strumienia danych (tj. sekwencji danych potencjalnie nieograniczonej, z indeksem czasowym) o określonej reprezentacji. Środkiem przekazu staje się wszystko (sprzęt w danej technologii, protokoły, warstwa fizyczna, oprogramowanie itp.), co umożliwia przekaz informacji.

Rysunek 1: Fundament rozwoju koncepcji multimedialnych. Wielostrumieniowy przekaz informacji spina poszczególne etapy rozwoju technik służących poznaniu rzeczywistości przybliżanej za pomocą istotnych technologii, metod i zasobów. Kluczowe kryterium to wyposażenie w najdoskonalsze narzędzia poznawcze pełnej prawdy o rzeczywistości, która ma maksymalną wartość użytkową dla odbiorcy. Symboliczny nadawca, konstruktor, zarządca służy jedynie zgodnie z tym kryterium.

W kontekście przekazu komputerowego, w środowisku sieci lokalnych czy globalnych (np. pomiędzy serwerem a klientem), dużego znaczenie nabiera pojęcie \textbf{strumieniowania}, czyli przesyłania danych w formie strumienia, któremu towarzyszy  wykorzystywanie kolejno napływających danych bezpośrednio po ich otrzymaniu. Typową realizacją jest bezpośrednie wyświetlanie filmu odbieranego jako otwarty strumień, bez wstępnego ustalenia całkowitego rozmiaru zamierzonego przekazu. Otrzymywany strumień może być jednocześnie rejestrowany w lokalnych archiwum lub też nie. Typowym przykładem jest monitoring kamerą z interfejsem sieciowym, kiedy to rejestrowane są jedynie fragmenty czy też usługi interaktywnej telewizji cyfrowej wykorzystującej protokół IP (IPTV): wideo na życzenie VoD (\emph Video on Demand) czy też funkcja sieciowego magnetowidu NPVR (ang. Network Personal Video Recorder), dająca możliwość  nagrywania  (a potem korzystania z nich) aktualnie  nadawanych programów telewizyjnych na dysku sieciowym operatora.

Przyjmijmy następującą definicję multimediów:

Multimedia to zintegrowany przekaz międzyludzki, ze szczególną rolą nadawcy (zdobywcy czy wytwórcy informacji) oraz odbiorcy (użytkownika, który ustala kryteria jakości i efektywności). Zmieniają się zadania nadawcy i oczekiwania odbiorcy, sposoby i formy rejestracji oraz prezentacji informacji multimedialnej. Treść przekazu odnosi się do określonej rzeczywistości, problemu, zadań, które definiuję jego specyfikę oraz krytyczne wymagania. 

Atrakcyjność multimediów wynika przede wszystkim z szybkiego dostępu do bogatych źródeł informacji, z coraz doskonalszych technologii odtwarzania i prezentacji tej informacji, możliwości jej gromadzenia, wymiany, obróbki, czy też upowszechniania własnych źródeł informacji. Bariery wynikające z fizycznych ograniczeń człowieka giną, a otwierają się nowe szanse rozwoju, współpracy, aktywnego udziału w życiu świata. W kontekście multimediów występuje istotne pojęcie mediów cyfrowych, czyli określonej formy użytkowania treści multimedialnych, takiej jak Internet, telewizja cyfrowa, telefonia komórkowa, poczta elektroniczna, dystrybucje DVD, itp. Odwołuje się ono do starszego pojęcia mediów, czyli środków audiowizualnych przekazu informacji i rozrywki, takich jak radio i telewizja, filmy, nagrania dźwiękowe, magazyny, gazety, książki, płyty, taśmy magnetofonów, plakaty itp.  Coraz trudniej dziś rozróżnić pojęcia mediów od mass mediów, czyli środków masowego przekazu. Dzięki technologicznym możliwościom rejestracji i komunikacji danych, sekretny zapis dokonany w domowym zaciszu może w jednej chwili stać się informacją przekazaną na cały świat. 
Podstawową cechą mediów cyfrowych jest ich zdalna dostępność przez sieci telekomunikacyjne, z której wynika konieczność unormowania sposobów reprezentacji danych i ich opisów (metadanych) jako warunek skutecznej wymiany informacji \cite{Skarbek04}. Warto także zwrócić uwagę na proces integracji poszczególnych mediów wokół przekazu multimedialnego, a więc rejestratorów dźwięku i obrazu, komputerów, edytorów tekstu, narzędzi zapewniających interaktywny przekaz, koderów, nośników, monitorów, głośników, drukarek, skanerów, kart muzycznych, telewizyjnych, graficznych, sterowników, oprogramowania, itd. Celem integracji źródeł informacji, jej treści i formy oraz sprzętu i oprogramowania systemu multimediów jest efekt synergii, spodziewany u odbiorcy.  
Multimedia są technologicznym, niedoskonałym odpowiednikiem naturalnego, ludzkiego przekazu informacji, obejmującego wielość zmysłów i różnorodny charakter komplementarnych sposobów wyrażania treści (modulacja głosu, gestykulacja, wyraz i mimika twarzy, zapach, sposób dotykania, ubiór, itp.). Pozyskując, dostarczając i prezentując informacje, kształtujące w dużym stopniu wiedzę o świecie współczesnego człowieka, multimedia stają się wyspecjalizowanym narzędziem poznawania świata, łamiącym istniejące dotąd bariery ograniczeń czasowych, przestrzennych, związanych z dostępem i komunikacją globalną. Są przy tym jednocześnie źródłem wielu zagrożeń, z których warto wymienić przede wszystkim pokusę zastępowania świata realnego wytworem globalnego przekazu informacji, wykrzywiania obrazu świata realnego natłokiem zbędnych treści i selektywnie wybieranych zestawień budujących fałszywą wiedzę. Multimedia mogą stać się ucieczką, zamiast szansą. Wydaje się, że pomocnicza funkcja wspomagania z zachowaniem dominującej roli ludzkiej osoby oraz przyłożenie większej wagi do treści oraz wiarygodności przekazu nie ograniczy roli multimediów, przyczyni się natomiast do bardziej harmonijnego i spójnego ich rozwoju.  

techniki multimedialne
Wśród zagadnień stanowiących podstawę opracowań współczesnych aplikacji multimedialnych znajdują się:

• pozyskanie źródłowych danych multimedialnych poprzez akwizycję, rejestrację, zapis danych z wykorzystaniem  takich urządzeń jak kamery, aparaty fotograficzne, zestawy mikrofonowe, skanery, satelity, czujniki, systemy obrazowania medycznego, itp.;
• składowanie i transmisję danych multimedialnych, z istotną rolą efektywnej kompresji, transkodowania, kodowania archiwizacyjnego i nadmiarowego, kontroli i korekcji błędów transmisji, protokołów transmisji zapewniających interakcję, łatwy i szybki dostęp, struktur i mechanizmów bazodanowych, itd.;
• opis treści multimedialnych poprzez ekstrakcję efektywnych deskryptorów (hipertekst, metadane, deskryptory numeryczne, semantyczne), indeksowanie (szybkość i zasoby), wyszukiwanie (selektywność i formy zapytań), itd.;
• ulepszanie multimediów, w tym poprawa jakości (redukcja szumów, artefaktów i zniekształceń geometrycznych, zwiększanie rozdzielczości, poprawa kontrastu), poprawa percepcji treści, ekstrakcja treści ukrytej, uzupełnianie treści - wypełnianie brakujących fragmentów obrazu czy zapisu dźwiękowego, itd., syntezę treści metodami grafiki komputerowej (problem realizmu scen, wizualizacja danych), ale też metody oceny użyteczności danych multimedialnych (oceny ich jakości, wiarygodności, przydatności w konkretnych zastosowaniach);
• analiza treści multimedialnych, w tym segmentacja obiektów, ekstrakcja i selekcja cech, rozpoznawanie w inteligentnych systemach multimedialnych (rozpoznawanie twarzy, mowy, identyfikacja osób, detekcja obiektów, zmian patologicznych w obrazach medycznych, śledzenie obiektów);
• prezentacja multimediów, za pomocą wielokanałowych systemów odtwarzania dźwięku, nowoczesnych monitorów, telewizorów, systemów wizualizacji 3W, form wielkorozdzielczej reklamy dynamicznej, itp.;
• ochrona danych, w tym kryptologia, techniki szyfrowania, uwierzytelnienia, szyfrowania, ukrywanie treści metodami steganografii i znaków wodnych, itd.; 
• integracja treści przekazu wielostrumieniowego, zarówno na poziomie transmisji czy składowania (różne formy synchronizacji i wzajemnego referowania danych), jak też metod odbioru przez użytkownika (zintegrowane modele odbiorcy, interakcja i sterowanie jakością);
• standaryzacja, w tym zwiększanie kompatybilności, \emph{przezroczystości} technologii, tworzenie standardów technologii przyszłości, poszukiwanie nowych technik dostosowanych do wyzwań współczesności.
• inne.

Będziemy je nazywali technikami multimedialnymi. Znajomość niezbędnych podstaw teoretycznych, algorytmicznych oraz uwarunkowań realnych implementacji ww. technik warunkuje efektywne wykorzystanie oraz twórcze kształtowanie rozwoju świata multimediów. 

Bto odpowiedni kontekst dokonującego się realnie, czyli aktualnego i zamierzonego przekazu informacji, w którym istotne są:

• forma przekazu jako strumień danych, tj. sekwencja danych potencjalnie nieograniczona (bezpośrednio po otrzymaniu napływają kolejne dane), z indeksem czasu rzeczywistego, o określonej reprezentacji;
• integracja rożnych rodzajów informacji rozdzielonej na komplementarne, synchronizowane strumienie, zróżnicowane w zakresie:
  • natury przekazu -- obraz, dźwięk, tekst, metadane itd.,
  • charakteru treści wynikającego zazwyczaj z natury danych,
  • formy reprezentowania informacji, zarówno w zakresie syntaktycznym, jak też semantycznym, 

z oczekiwanym efektem synergii;

• urządzenia i systemy, w tym m.in.
  • rejestratory (cyfrowe detektory obrazów, kamery, aparaty fotograficzne, zestawy mikrofonowe, studia nagrań itd.),
  • procesory przetwarzania danych (sygnałowe, graficzne, procesory efektowe, korektory graficzne, stoły mikserskie itp.),
  • technologie komunikacji (przewodowej, bezprzewodowej, sieci lokalne i globalne, protokoły, urządzenia dostępowe itd.),
  • systemy komputerowe ze specjalizowanym oprogramowaniem (nagrywarki, odtwarzacze multimedialne, przeglądarki itp.),
  • sprzęt do prezentacji (monitory, wyświetlacze, systemy wizualizacji 3W, systemy odsłuchowe, zestawy głośnikowe itd.);
• specyficzne cechy przy projektowaniu, konstruowaniu i doskonaleniu użytecznych rozwiązań, takie jak:
  • naśladowanie naturalnego, ludzkiego, możliwie kompletnego sposobu przekazywania informacji, podmiotowość użytkownika -- odbiorcy przekazu;
  • przełamywanie barier oraz istniejących w kontaktach międzyludzkich (schemat nadawca -- odbiorca) ograniczeń fizycznych,
  • szybki i selektywny dostęp do bogatych, wiarygodnych źródeł informacji,
  • stały rozwój, w tym doskonalenie technologii rejestracji, komunikacji i prezentacji, zwiększanie możliwości w zakresie gromadzenia i wymiany danych, opracowywanie skuteczniejszych metod wyszukiwania i obróbki informacji wobec rosnącej skali rozpowszechniania i poprawy łatwości obsługi, przy jednoczesnej indywidualizacji i szerszym wykorzystaniu mechanizmów oceny użyteczności itp. 

Zaś media cyfrowe to 

• określone formy użytkowania treści multimedialnych, takie jak Internet, telewizja cyfrowa, telefonia komórkowa, poczta elektroniczna, dystrybucje DVD itp.;
• zdalna dostępność przez sieci telekomunikacyjne, z której wynika konieczność unormowania sposobów reprezentacji danych i ich opisów  (metadanych) jako warunek skutecznej wymiany informacji.

Możliwa jest też definicja multimediów jako mediów cyfrowych z

• przekazem kilku strumieni informacji w czasie, synchronizacją czasową i semantyczną przekazu;
• integracją treści i formy przekazu w celu uzyskania efektu synergii;
• treścią będącą odwzorowaniem/odbiciem naturalnych sposobów komunikacji  według schematu człowiek--zmysły--poznanie.