Wnioskowanie, estymacja i podejmowanie decyzji z danych
Istnieją dwa fundamentalnie odmienne podejścia do budowania klasyfikatora, a podział ten przenika przez całą dziedzinę uczenia maszynowego. Model dyskryminatywny uczy się bezpośrednio wyznaczania granicy decyzyjnej między poszczególnymi klasami. Z kolei model generatywny uczy się wpierw tego, w jaki sposób każda klasa generuje przypisywane jej dane, i wyprowadza wspomnianą granicę dopiero jako swoisty produkt uboczny.
Mówiąc formalnie: model dyskryminatywny estymuje prawdopodobieństwo warunkowe p(y|x) wprost i bezpośrednio, odpowiadając na pytanie: „mając dane te konkretnie cechy, która z etykiet jest najbardziej prawdopodobna?”. Model generatywny natomiast najpierw estymuje prawdopodobieństwo łączne p(x, y) (zazwyczaj poprzez p(x|y) oraz p(y)), a dopiero potem z użyciem klasycznej reguły Bayesa wylicza szukane ostatecznie p(y|x).
Pomyśl o dwojgu studentach kierunków artystycznych. Jeden uczy się malować kota od zera, opanowując sposób, w jaki łączą się ze sobą futro, wąsy i uszy: to model generatywny, uczący się tego, jak każda klasa tworzy swoje dane. Drugi nigdy nic nie maluje, ale staje się genialny w wyszukiwaniu różnic pomiędzy kotem a psem na dowolnym zdjęciu: to model dyskryminatywny, uczący się jedynie granicy między klasami. Malarz potrafi stworzyć nowe koty; ten, który je rozpoznaje, po prostu wyznacza granicę i często jest w tym bystrzejszy.