Centrale Limietstelling

De wiskunde van onzekerheid

De wet van de grote aantallen zegt dat het steekproefgemiddelde convergeert naar μ. Maar hoe komt het daar, en hoe ziet de resterende wiebeling eruit? De centrale limietstelling geeft een opmerkelijk antwoord: de wiebeling is altijd Gaussisch, ongeacht de verdeling waarmee je begon.

Middel genoeg onafhankelijke steekproeven en het gestandaardiseerde gemiddelde volgt een standaardnormale verdeling, zelfs als de oorspronkelijke muntworpen, dobbelstenen of een scheve verdeling waren. Daarom duikt de belkromme zo vaak op: alles wat een som is van veel kleine onafhankelijke effecten eindigt als Gaussisch.

De figuur middelt n worpen van een platte dobbelsteen en maakt een histogram van het resultaat over vele proeven. Bij n = 1 is het histogram plat (uniform); draai n op en uit het niets verschijnt een bel, waarbij de CLS een Gaussische uit een niet-Gaussische bron opbouwt.

Waar dit voorkomt in MLDe CLS verklaart de ruisstructuur van stochastische optimalisatie. Een mini-batch-gradiënt is een gemiddelde over batch-voorbeelden, dus volgens de CLS is de fout rond de werkelijke gradiënt bij benadering Gaussisch met spreiding σ/√(batch size). Daarom ziet gradiëntruis er normaal uit, daarom geven grotere batches evenredig gladdere (maar slechts √n-betere) stappen, en daarom worden foutmarges…
▶ Centrale Limietstelling
← Wet van de Grote AantallenCentrummaten →