Verwachting

De wiskunde van onzekerheid

De verwachting van een stochastische variabele is haar langetermijngemiddelde: de waarde waarnaar je zou convergeren als je het experiment eeuwig herhaalde en de resultaten middelde. Het is een gewogen gemiddelde van de mogelijke waarden, elk gewogen naar hoe waarschijnlijk ze is:

Beschouw de KMF als een verzameling gewichten geplaatst langs een liniaal; E[X] is het balanspunt. Het hoeft geen waarde te zijn die X daadwerkelijk kan aannemen. Een eerlijke dobbelsteen middelt naar 3,5, wat geen enkele zijde toont.

Stel je een gokkast voor waar je duizenden keren geld in gooit. Bij één enkele trek kun je veel winnen of je munt verliezen, maar de machine heeft een vaste langetermijngemiddelde uitbetaling per spel, en dat getal is E[X]. Het is de stabiele waarde waar je gemiddelde naartoe kruipt naarmate de spellen zich opstapelen, ook al landt geen enkele draai er ooit precies op.

Waar dit voorkomt in MLTraining minimaliseert een verwacht verlies E_D[L(θ)], het gemiddelde verlies over de dataverdeling. We kunnen die verwachting niet exact berekenen, dus benaderen we haar door een gemiddelde over een eindige steekproef (de trainingsset), en over een mini-batch voor elke gradiëntstap. Lineariteit van verwachting is waarom de gemiddelde gradiënt over een batch een zuivere schatting van de…
▶ Verwachting
← Stochastische VariabelenVariantie →