Doskonalenie odbioru informacji multimedialnych

Rozumienie bazuje na wykrytych wcześniej w obrazie $\mathcal{I}$ obiektach $o \in \mathcal{O}_{\mathcal{I}}$, którym przypisywana jest niezerowa funkcja semantyczna $\Sigma_o$, definiująca znaczenie obiektu w kontekście określonych uwarunkowań jego występowania w obrazie (np. tło, postrzegane właściwości), a także mającej zastosowanie procedury interpretacji. Wykrycie wszystkich obiektów istotnych dla zrozumienia treści obrazu, poprawne przypisanie znaczeń, a także trafne określenie charakteru kontekstu ich wystąpienia, elementów tła itp. warunkuje poprawność kompleksowego procesu rozumienia treści.

Wykrycie obiektów istotnych nie jest jednak zwykle zadaniem prostym. Przykładem może być rozpoznanie niewielkich, lekko zarysowanych zmian, będących ostrzegawczym symptomem anormalności, czy nawet patologii w obrazach medycznych. Obiekt definiuje mniej lub bardziej dostrzegalna odmienność określonej cechy/zespołu cech względem najbliższego otoczenia, przy jednoczesnym zachowaniu podobieństwa całego zbioru ogólnych i szczególnych właściwości kontekstu występowania. Może to być bardzo subtelna różnica tekstury czy średniej barwy, wręcz niedostrzegalna przy rutynowej obserwacji czy też w typowej analizie numerycznej. Obiektem może być więc nieznacznie wyróżniający się obszar, bez wyraźnych konturów, którego trafne rozpoznanie wymaga generalnie odpowiedniej wiedzy $\mathcal{W}$ -- ogólnej lub specyficznej, własnego doświadczenia, niekiedy szczególnych zdolności kojarzenia i wnioskowania, intuicji itp.. Funkcja semantyczna, określająca znaczenie obiektu zależy więc od wiedzy: $\Sigma_o (\mathcal{W})$.

Komputerowe przetwarzanie obrazów może obejmować doskonalenie etapu wykrycia i określenia charakteru obiektów, w tym 

• poprawa jakości redukująca ograniczenia systemu akwizycji;
• przetwarzanie zmierzające do poprawy percepcji lokalnych cech obrazów;
• wyznaczenie dodatkowych cech obliczeniowych różnicujących obszary czy dzielących je na podobszary;
• zastosowanie czułych deskryptorów specyficznych cech obiektów;
• wskazanie potencjalnych obszarów zainteresowania, zgodnych z modelami wzorców, ale też m.in. anormalności, obszarów czy struktur nietypowych, podejrzanych;
• interaktywne dopasowanie warunków prezentacji (wizualizacji) wybranych obszarów, itp.

Aby ustalić treść przekazu obrazowego, należy dodatkowo określić znaczenie wzajemnych relacji pomiędzy obiektami występującymi w obrazie: $\Sigma_{\mathcal{R}(o_1,o_2,\ldots )}(\mathcal{W})=\Sigma_{\mathcal{R}(\mathcal{O}_{\mathcal{I}})}(\mathcal{W})$, odwołując się do odpowiednich zasobów wiedzy, zarówno a priori jak i a posteriori. Semantyczna funkcja relacji wzajemnych obejmuje wszystkie istniejące związki znaczeniowe, wynikające z łącznego wystąpienia dowolnego podzbioru obiektów   $\mathcal{O}_{\mathcal{I}}$, przy uwzględnieniu wszelkich liczących się, realnych uwarunkowań zobrazowania $\mathcal{I}$. 

Ze znaczenia wzajemnych relacji obiektów wynika, często na zasadach synergii, całościowa treść zawarta w danych obrazowych: 

gdzie wektor znaczeń obiektów $\Sigma_{\mathcal{O}_{\mathcal{I}}}=[\Sigma_{o_1},\Sigma_{o_2},\ldots]$. Ważne jest przy tym uwzględnienie wszelkiej dostępnej  wiedzy dodatkowej, mającej znaczenie przy odczytywaniu całościowej treści obrazu. Wiedza ta wynika m.in. z okoliczności przeprowadzenia procesu akwizycji obrazu, ze sposobów wykorzystywania informacji obrazowej określonego typu, aktualnego celu odczytywania treści i stanowi naturalne uzupełnienie treści dostrzegalnej bezpośrednio z obrazu, wpływając na sumaryczną wymowę przekazywanej treści. 

Poprawne rozumienie treści przekazu informacji obrazowej, czyli trafne, możliwie jednoznaczne odczytanie całej użytecznej zawartości przekazu pozwala realizować zasadnicze etapy użytkowania treści obrazowej, takie jak 

• ocena odczytanej treści w kontekście określonych celów użytkowania, rozpoznania klasy problemu lub rodzaju przypadku, np. detekcję (rozpoznanie) zmian (obszarów) podejrzanych w obrazie medycznym;
• interpretacja rozpoznanej rzeczywistości na wyższym poziomie abstrakcji, zależnie od uwarunkowań zastosowania, np.  przypisanie określonej kategorii diagnostycznej według stosowanej skali;  
• podjęcie określonych działań, wynikających z przyjętej interpretacji informacji obrazowej, ostatecznie potwierdzających przydatność odczytanej informacji.

Bezpośrednim owocem rozumienia (operator rozumienia oznaczmy przez $\mathcal{U}$) treści obrazowej   $\Sigma_{\mathcal{I}} (\mathcal{O,R,W})$ jest ocena odczytanej treści, czyli wskazanie przedmiotu zainteresowania (SOI, czyli subject of interests) lub też stwierdzenie jego braku (brak np. poszukiwanego obiektu w określonym zobrazowaniu może mieć bardzo dużą wartość użytkową, np. brak poszukiwanego przestępcy w grupie przebywającej na monitorowanym dworcu). Mamy więc:

Skuteczna segmentacja i rozpoznanie obiektów, określenie relacji pomiędzy nimi tak w zakresie porównania ich właściwości za pomocą numerycznych deskryptorów, jak też ich formalnego, ontologicznego opisu i wynikających z tego zależności, pozwala scharakteryzować treść całego przekazu obrazowego, którego znaczenie może zostać określone za pomocą odwołań do specyficznych modeli wiedzy, mających źródła ontologiczne, referencyjne (porównanie z wzorcami) lub bazujące na różnorakich modelach numerycznych odwołujących się do semantyki (lingwistyczne, stochastyczne, funkcjonalne, obiektowe itp.). Interpretacja i podejmowanie działań czy formułowanie decyzji odwołuje się do głębszych zasobów wiedzy abstrakcyjnej, specjalistycznej, wieloletnich doświadczeń, własnych heurystyk, do ludzkiej świadomości, intuicji, zdolności kojarzenia i wnioskowania, których nie sposób skutecznie zamodelować w przypadku bardziej złożonych zastosowań. 

Komputerowe wspomaganie procesu rozumienia obrazów zakłada podmiotowość osoby użytkownika i jedynie pomocniczą rolę komputerowej asystencji. Zakłada optymalizację procesu rozumienia obrazów, by zweryfikowana i klarowniej reprezentowana informacja obrazowa stanowiła przedmiot właściwych ocen, możliwie jednoznacznej interpretacji i trafnych decyzji specjalistów. Efektem automatycznego rozumienia obrazów może być więc uproszczona forma danych źródłowych typu SOI, po redukcji nadmiarowości semantycznej, z możliwie przejrzystą identyfikacją semantycznie rozpoznawalnych składników tej informacji, czyli struktury informacji. 

Jako przykład zastosowań, istotną rolę metod rozumienia obrazów medycznych wykorzystywanych w koncepcji komputerowego wspomagania obrazowej diagnostyki medycznej pokazano na rys. 1.1. 

Rys. 1.1  Przykład roli, jaką pełnią metody rozumienia obrazów w realizacji koncepcji komputerowego wspomagania obrazowej diagnostyki medycznej -- CAD.