Inferenz, Schätzung und Entscheidungsfindung aus Daten
Es gibt zwei grundverschiedene Arten, einen Klassifikator zu bauen, und diese Trennlinie zieht sich durch das gesamte maschinelle Lernen. Ein diskriminatives Modell lernt die Grenze zwischen den Klassen direkt. Ein generatives Modell lernt, wie jede Klasse ihre Daten erzeugt, und leitet die Grenze als Nebenprodukt daraus ab.
Formal: Ein diskriminatives Modell schätzt die bedingte Wahrscheinlichkeit p(y|x) direkt und beantwortet die Frage „Welche Kategorie gehört zu diesen Merkmalen?“. Ein generatives Modell schätzt die gemeinsame Verteilung p(x, y) (oft über p(x|y) und p(y)) und wendet dann die Bayes-Regel an, um p(y|x) zu erhalten.
Denk an zwei Kunststudenten. Der eine lernt, eine Katze von Grund auf zu malen, und meistert, wie Fell, Schnurrhaare und Ohren zusammenkommen: Das ist ein generatives Modell, das lernt, wie jede Klasse ihre Daten produziert. Der andere malt nie etwas, wird aber brillant darin, eine Katze im Vergleich zu einem Hund auf jedem Foto zu erkennen: Das ist ein diskriminatives Modell, das nur die Grenze zwischen Klassen lernt. Der Maler kann neue Katzen erschaffen; der Erkenner zieht nur die Linie und ist dabei oft schärfer.