Gemeinsame Verteilungen

Die Mathematik der Unsicherheit

Bisher lebte jede Zufallsvariable für sich allein. Die interessanten Fragen drehen sich aber um Beziehungen: Körpergröße und Gewicht, ein Bild und sein Label. Eine gemeinsame Verteilung p(x, y) gibt die Wahrscheinlichkeit für jedes Wertepaar auf einmal an. Sie ist die vollständige Beschreibung dessen, wie sich zwei (oder mehr) Variablen zusammen verhalten.

Bei diskreten Variablen stelle dir ein Gitter vor: Die Zeilen sind die Werte von X, die Spalten die Werte von Y, und jede Zelle enthält die Wahrscheinlichkeit dieser Kombination. Alle Zellen sind nicht-negativ und summieren sich zu 1 – wieder die Axiome, nun in zwei Dimensionen. Bei stetigen Variablen ist es eine Dichte f(x, y), und Wahrscheinlichkeiten sind Volumina unter einer 2-D-Fläche.

Stell dir eine Kreuztabelle von Personen vor, die gleichzeitig nach Größe und Gewicht sortiert sind: klein-und-leicht in einer Zelle, groß-und-schwer in einer anderen, und eine Zahl in jeder Zelle, die angibt, wie häufig diese Paarung ist. Dieses gesamte Raster von Paarungen ist die gemeinsame Verteilung p(x, y) — sie beschreibt Größe und Gewicht zusammen, nicht einzeln. Fülle jede Zelle aus, mache sie nicht-negativ und summiere sie auf 1, und du hast das komplette Bild davon eingefangen, wie die beiden Merkmale zusammen auftreten.

Wo das im ML vorkommtÜberwachtes Lernen modelliert eine gemeinsame Verteilung p(x, y) von Eingaben und Labels oder einen Teil davon. Generative Modelle lernen die vollständige gemeinsame Verteilung p(x, y) und können neue Daten erzeugen; diskriminative Modelle lernen nur die bedingte Verteilung p(y | x), die zur Vorhersage nötig ist. Die ganze Unterscheidung zwischen generativ und diskriminativ läuft darauf hinaus,…
▶ Gemeinsame Verteilungen
← Multivariate Gauß-VerteilungRandverteilungen →