Podręcznik

Jak widać rozkład danych w poszczególnych klasach jest nierównomierny. Najwięcej jest przypadków przynależności do klasy A, najmniej (bo tylko 1) do klasy najsłabszej (B). Przy stosunkowo małej liczbie dostępnych danych kluczową sprawą jest redukcja liczby cech diagnostycznych do najmniejszego zbioru cech najbardziej dyskryminujących klasy między sobą. Spośród kilkudziesięciu możliwych do wygenerowania cech należy wybrać kilka (co najwyżej kilkanaście) najbardziej reprezentatywnych, gwarantujących najlepsze działanie na danych nie uczestniczących w uczeniu. W selekcji cech diagnostycznych można zastosować wiele różnych metod wartościowania tych cech. W pracy [62] zastosowano test statystyczny ANOVA określający dla każdej cechy wartość poziomu jej istotności p-value przy dyskryminacji klas. Mała wartość poziomu istotności dla danej cechy pozwala odrzucić hipotezę zerową, że cecha ta jest nieistotna przy rozróżnianiu klas (cecha taka pozostaje w zbiorze danych wejściowych dla klasyfikatora). Odrzucane są cechy dla których wartość poziomu istotności jest powyżej pewnego (z góry ustalonego progu). W pracy [62] za wartość taką uznano p=0.30. W wyniku analizy ANOVA wyselekcjonowano wąską grupę kilkunastu cech diagnostycznych mających największy wpływ na wynik klasyfikacji. Należą do nich:

• całkowity majątek firmy – x1

• całkowite zadłużenie – x2

• stosunek zadłużenia długoterminowego do całkowitego kapitału inwestycyjnego firmy – x3

• stopa zadłużenia – x4

• współczynnik TIE (Time Interest Earning) – x5 (definiowany jako stosunek zysku firmy przed opodatkowaniem i zapłatą rat kredytu (EBIT) do zobowiązań wynikających z zaciągniętych kredytów)

• stopa zysku operacyjnego – x6 (definiowana jako stosunek dochodu do sprzedaży netto)

• stosunek kapitału udziałowego powiększonego o pożyczki długoterminowe do dochodu stałego – x7

• współczynnik ROTA (Return on Total Assets) – x8 (definiowany jako stosunek wartości EBIT do aktywów netto)

• współczynnik rentowności kapitału własnego ROE – x9 (definiowany jako stosunek wpływów netto po opodatkowaniu do kapitału udziałowego)

• stosunek przychodów operacyjnych do kapitału zainwestowanego  – x10

• stosunek wpływów netto do kapitału zainwestowanego (received) – x11

• stopa zysku netto – x12

• zysk z jednej akcji – x13

• marża z zysku brutto – x14

• stosunek wpływów netto przed opodatkowaniem do wartości sprzedaży – x15

Na podstawie tych wielkości zdefiniować można różne składy wektorów wejściowych dla klasyfikatorów neuronowych. Tradycyjnie w prognozie dokonywanej przez ekspertów amerykańskich za najważniejsze uznaje się cechy: x1, x2, x3, x4, x6. Wektor cech wejściowych x=[ x1, x2, x3, x4, x6] będzie traktowany jako model I. Innym wyborem poddanym analizie w pracy [62] było przyjęcie wskaźników wyselekcjonowanych przez metodę ANOVA. W takim przypadku wektor cech diagnostycznych x zawierał wszystkie wyselekcjonowane cechy x=[x1, x2, …, x15]. Model odpowiadający mu będzie oznaczony jako II.

Mała liczba danych uczestniczących w badaniach zmusza do zastosowania specjalnych technik oceny wyników uczenia i testowania. W pracy [62] zastosowano 2 metody: 10-krotna walidacja krzyżowa oraz metoda „leave-one-out”. W pierwszym podejściu 90% danych branych losowo uczestniczyło w uczeniu klasyfikatora, a pozostałe 10% w jego testowaniu (walidacji). Próby uczenia i testowania powtarzano 10-krotnie za każdym razem zmieniając kolejno skład danych testujących. Jako wynik ostateczny przyjęto średnią ze wszystkich prób testowania. W metodzie „leave-one-out” w uczeniu uczestniczy (p-1) danych uczących (p – liczba danych) a nauczona sieć testowana jest na pozostałej danej (1 dana). Proces uczenia i testowania powtarza się p-krotnie zmieniając za każdym razem daną testującą. Na wynik ostateczny uczenia składają się wyniki testowania z p prób. Autorzy pracy przeprowadzili eksperymenty z dwoma rodzajami klasyfikatora neuronowego: siecią SVM oraz MLP. W tabeli 13.03 przedstawiono uzyskane wyniki w postaci średniej dokładności klasyfikacji (w porównaniu z wynikami eksperta ludzkiego)

Tabela 13.3

Z przedstawionych wyników widać, że oba klasyfikatory pozwoliły uzyskać porównywalną dokładność klasyfikacji (zwłaszcza przy zastosowaniu uproszczonego modelu I). W przypadku modelu bardziej rozbudowanego lepsze wyniki pozwoliła uzyskać sieć SVM (przy dużym wektorze wejściowym sieć ta jest mniej czuła na małą liczbę danych uczących niż MLP).

Należy podkreślić, że wybór optymalnych cech diagnostycznych nie jest całkowicie jednoznaczny. Jest on w dużej mierze zależny od zastosowanej techniki selekcji cech. Należy ponadto zwrócić uwagę na fakt, że zbiór cech diagnostycznych branych pod uwagę jest w dużej mierze uzależniony od rodzaju działalności firm ubiegających się o kredyt jak również od dostępności danych.