Wet van de Grote Aantallen

De wiskunde van onzekerheid

Gooi tien keer met een eerlijke munt en je krijgt misschien 7 keer kop. Gooi tienduizend keer en de fractie kop zal verbazingwekkend dicht bij 0,5 liggen. Dat is de wet van de grote aantallen: naarmate je meer data verzamelt, convergeert het steekproefgemiddelde naar de werkelijke verwachting.

De toevalligheid verdwijnt niet, en individuele uitkomsten blijven onvoorspelbaar, maar het gemiddelde van velen ervan komt tot rust. De zwakke wet zegt dat deze convergentie "in waarschijnlijkheid" is: voor elke tolerantie krimpt de kans dat het gemiddelde meer dan die tolerantie afwijkt naar 0 toe naarmate n groeit.

Druk op Run in de figuur om munten één voor één te gooien en kijk hoe het lopende gemiddelde eerst wild ronddwaalt en dan inzoomt op het gestreepte werkelijke gemiddelde. Meer steekproeven, strakkere convergentie.

Waar dit voorkomt in MLDe wet van de grote aantallen is wat mini-batch-training verantwoord maakt. De werkelijke gradiënt is een verwachting over de hele dataverdeling; een mini-batch-gradiënt is een steekproefgemiddelde ervan. Volgens de WGA benadert dat gemiddelde de werkelijke gradiënt en wordt het nauwkeuriger bij grotere batches. Elke Monte-Carlo-schatting in ML (verwachte beloning, een ELBO-term, een empirisch…
▶ Wet van de Grote Aantallen
← Wederzijdse informatieCentrale Limietstelling →