Erwartungswert & Varianz (stetig)

Die Mathematik der Unsicherheit

Alles, was Sie über Erwartungswert und Varianz gelernt haben, überträgt sich auf stetige Variablen. Sie ersetzen einfach die Summe durch ein Integral. Das Gewicht p(x) der PMF wird zur Dichte f(x) dx, und "über alle Werte aufsummieren" wird zu "über die Achse integrieren".

Die Anschauung ist identisch: E[X] ist weiterhin der Gleichgewichtspunkt der Dichtemasse, und die Varianz ist weiterhin der durchschnittliche quadratische Abstand zu diesem Punkt. Die Linearität und die Skalierungsregel Var(aX+b)=a²Var(X) gelten unverändert weiter.

Denk an eine Wippe mit Gewicht, das ungleichmäßig über das Brett verschmiert ist, anstatt an einem Punkt zu sitzen. Die einzige Stelle, an der sie balanciert, ist E[X], der Mittelwert der Dichte. Wie weit das Gewicht von diesem Drehpunkt nach außen geschleudert wird, gemessen als durchschnittlicher quadrierter Abstand, ist Var(X): nahe dem Zentrum gebündeltes Gewicht bedeutet eine kleine Varianz, zu den äußeren Enden gedrücktes Gewicht bedeutet eine große Varianz.

Wo das im ML vorkommtStetige Erwartungswerte sind Integrale, und Integrale über hochdimensionale Räume sind meist nicht geschlossen lösbar. Daher stützt sich das ML auf Monte-Carlo-Schätzungen: Man nähert E[g(X)] = ∫ g(x)f(x)dx durch einen Mittelwert (1/n) Σ g(xᵢ) über Stichproben xᵢ aus f an. Jede "erwartete Belohnung" im RL und jeder ELBO-Term in einem VAE ist eines dieser Integrale, durch Sampling geschätzt.
▶ Erwartungswert & Varianz (stetig)
← PDF und CDFGauß-Verteilung →