Podręcznik

(a) Model zbyt prosty

(b) Adekwatny model

(c) Model przeuczony

Rysunek 1: Zjawisko przeuczenia i niedouczenia. Zieloną linią została oznaczona funkcja wykorzystana do generacji danych, a czarną dopasowany model. Kropki czerwone to zbiór uczący, a niebieskie walidacyjny.

Przyjrzyjmy się wykresom przedstawionym na rysunku 1. Punkty na wykresie (kropki czerwone i niebieskie) zostały wygenerowane na podstawie wzoru $y(x) = (x-5)^2$ z dodatkiem szumu. Następnie dopasowano do kropek czerwonych funkcje opisane wielomianami różnych stopni. Podzbiór danych, na podstawie którego dopasowujemy współczynniki modelu (tu współczynniki wielomianu) nazywamy zbiorem uczącym. Podzbiór, na podstawie którego będziemy oceniać, które podejście do modelowania jest najlepsze nazywamy zbiorem walidacyjnym. W naszym przykładzie zbiór walidacyjny stanowią kropki niebieskie i służą one do doboru stopnia wielomianu.

Na rysunku 1(a) widzimy dopasowanie funkcji liniowej (wielomian pierwszego stopnia). Model ten źle odwzorowuje zarówno dane ze zbioru uczącego jak i zbioru walidacyjnego. Mamy do czynienia z modelem zbyt prostym, który nie jest w stanie odwzorować rzeczywistej funkcji generującej dane.

Na rysunku 1(b) widzimy dopasowanie funkcji kwadratowej (wielomianu drugiego stopnia). Model ten dobrze odwzorowuje charakter danych ze zbioru uczącego i walidacyjnego. W tym przypadku wiemy również, że dobraliśmy właściwy stopień wielomianu - taki sam jak użyty do generacji danych. Jednak w praktycznych problemach uczenia zazwyczaj takiej informacji nie mamy i musimy wnioskować na podstawie wielkości błędów dla odpowiednich zbiorów danych.

Na rysunku 1(c) widzimy dopasowanie wielomianu dziewiątego stopnia. Funkcja ta jest bardzo dobrze dopasowana do kropek czerwonych (niemalże przechodzi przez każdy punkt) i bardzo źle do kropek niebieskich. Mamy do czynienia z przeuczeniem modelu. Nasz model dopasował się do szumu i nauczył prawie idealnie przykładów ze zbioru uczącego. Jest to zjawisko bardzo niekorzystne, ponieważ model nie będzie sobie radził dla punktów, które nie zostały wykorzystane w procesie uczenia.

Podsumowując, w uczeniu maszynowym wykorzystujemy następujące zbiory:

• Zbiór uczący - jest to zbiór wykorzystywany do doboru parametrów modelu. W przykładzie parametrami modelu były współczynniki wielomianu. Dla sieci neuronowych parametry stanowią wagi neuronów.

• Zbiór walidacyjny - służy do doboru hiper-parametrów modelu. Hiper-parametry to parametry opisujące klasę funkcji przeszukiwanych w procesie uczenia. W przykładzie hiper-parametrem był stopień wielomianu. Dla sieci neuronowych przykładowym hiper-parametrem jest liczba warstw.

• Zbiór testowy - nie jest wykorzystywany do strojenia parametrów i hiper-parametrów. Służy do wiarygodnej oceny gotowego modelu na nowych danych.