Teorema del Limite Centrale

La matematica dell'incertezza

La legge dei grandi numeri dice che la media campionaria converge a μ. Ma come ci arriva, e che aspetto ha l'oscillazione residua? Il teorema del limite centrale dà una risposta sorprendente: l'oscillazione è sempre Gaussiana, non importa da quale distribuzione sei partito.

Mediando abbastanza campioni indipendenti, la media standardizzata segue una normale standard, anche se gli originali erano lanci di moneta, dadi, o una distribuzione sbilanciata. Ecco perché la curva a campana compare così spesso: qualsiasi cosa sia una somma di molti piccoli effetti indipendenti finisce per essere Gaussiana.

La figura calcola la media di n tiri di un dado uniforme e ne riporta l'istogramma su molte prove. A n = 1 l'istogramma è piatto (uniforme); aumenta n e una campana emerge dal nulla: è il CLT che costruisce una Gaussiana a partire da una sorgente non Gaussiana.

Dove si trova nel MLIl CLT spiega la struttura di rumore dell'ottimizzazione stocastica. Un gradiente di mini-batch è una media sugli esempi del batch, quindi per il CLT il suo errore attorno al vero gradiente è approssimativamente Gaussiano con dispersione σ/√(batch size). Ecco perché il rumore del gradiente sembra normale, perché batch più grandi danno passi proporzionalmente più lisci (ma solo √n-migliori), e…

▶ Teorema del Limite Centrale

← Legge dei Grandi Numeri Misure di Tendenza Centrale →