Verwachting & variantie (continu)

De wiskunde van onzekerheid

Alles wat je over verwachting en variantie hebt geleerd, draagt over op continue variabelen. Je ruilt de som alleen in voor een integraal. Het gewicht van de kansmassafunctie p(x) wordt de dichtheid f(x) dx, en "optellen over alle waarden" wordt "integreren over de lijn."

De intuïtie is identiek: E[X] is nog steeds het balanspunt van de massa van de dichtheid, en variantie is nog steeds de gemiddelde gekwadrateerde afstand tot dat punt. Lineariteit en de schaalregel Var(aX+b)=a²Var(X) blijven allemaal ongewijzigd overeind.

Stel je een wipwap voor met gewicht dat ongelijkmatig langs de plank is uitgesmeerd in plaats van op één punt te rusten. De enige plek waar deze in balans is, is E[X], het gemiddelde van de dichtheid. Hoe ver het gewicht van dat draaipunt wordt weggeslingerd, gemeten als de gemiddelde gekwadrateerde afstand, is Var(X): gewicht dat dicht bij het centrum gebundeld is betekent een kleine variantie, gewicht dat naar de uiteinden is geduwd betekent een grote variantie.

Waar dit voorkomt in MLContinue verwachtingen zijn integralen, en integralen over hoogdimensionale ruimten zijn meestal onhandelbaar. Daarom leunt ML op Monte-Carlo-schatting: benader E[g(X)] = ∫ g(x)f(x)dx met een gemiddelde (1/n) Σ g(xᵢ) over steekproeven xᵢ getrokken uit f. Elke "verwachte beloning" in RL en elke ELBO-term in een VAE is een van deze integralen, geschat door te trekken.
▶ Verwachting & variantie (continu)
← Kansdichtheid & cumulatieve verdelingGaussische verdeling →