Legge dei Grandi Numeri

La matematica dell'incertezza

Lancia una moneta equa dieci volte e potresti ottenere 7 teste. Lanciala diecimila volte e la frazione di teste aderirà a 0,5 in modo sorprendentemente stretto. Questa è la legge dei grandi numeri: man mano che raccogli più dati, la media campionaria converge all'attesa vera.

La casualità non svanisce, e i singoli esiti restano imprevedibili, ma la media di molti di essi si assesta. La legge debole dice che questa convergenza è "in probabilità": per qualsiasi tolleranza, la probabilità che la media sia fuori più di quella tolleranza si restringe verso 0 al crescere di n.

Premi Run nella figura per lanciare monete una alla volta e guarda la media cumulata vagare selvaggiamente all'inizio, poi convergere verso la media vera tratteggiata. Più campioni, convergenza più stretta.

Dove si trova nel MLLa legge dei grandi numeri è ciò che rende sano l'addestramento con mini-batch. Il vero gradiente è un'attesa sull'intera distribuzione dei dati; un gradiente di mini-batch è una media campionaria di esso. Per la LLN, quella media approssima il vero gradiente e diventa più accurata con batch più grandi. Ogni stima Monte Carlo nell'ML (ricompensa attesa, un termine ELBO, un rischio empirico) fa…
▶ Legge dei Grandi Numeri
← Informazione MutuaTeorema del Limite Centrale →