Randverteilungen

Die Mathematik der Unsicherheit

Gegeben sei eine gemeinsame Verteilung p(x, y), und angenommen, dich interessiert nur X, während du Y vergessen möchtest. Dann marginalisierst du: Du summierst (oder integrierst) die gemeinsame Verteilung über alle Werte der unerwünschten Variable. Was übrig bleibt, ist die Randverteilung von X allein.

Der Name stammt von alten Wahrscheinlichkeitstabellen: Man addierte jede Zeile und schrieb die Summe an den Rand. Diese Zeilensummen sind die Randverteilung der einen Variablen, die Spaltensummen die der anderen. Marginalisieren bedeutet „die Variable herausintegrieren, die du nicht willst.“

Nimm diese Größen-Gewichts-Kreuztabelle und nimm an, du interessierst dich nur für die Größe und ignorierst das Gewicht völlig. Du summierst einfach jede Zeile der gemeinsamen Verteilung p(x, y) und notierst die Summe am Rand — diese Zeilensumme gibt an, wie oft jede Größe unabhängig vom Gewicht vorkommt. Das Lesen nur dieser Randsummen ergibt die Randverteilung von X, die einzige Variable, die für sich allein betrachtet wird.

Wo das im ML vorkommtDas Herausmarginalisieren latenter Variablen ist zugleich die zentrale Rechnung und das zentrale Problem der generativen Modellierung. Die Datenwahrscheinlichkeit ist p(x) = ∫ p(x, z) dz = ∫ p(x | z) p(z) dz, ein Integral über jede mögliche latente Variable z. Dieses Integral ist meist nicht berechenbar, und genau deshalb optimieren VAEs stattdessen eine berechenbare untere Schranke (die ELBO),…
▶ Randverteilungen
← Gemeinsame VerteilungenBedingte Verteilungen →