Teorema del Límite Central

Las matemáticas de la incertidumbre

La ley de los grandes números dice que la media muestral converge a μ. Pero cómo llega allí y qué se ve con el resto del movimiento? El teorema del límite central da una respuesta sorprendente: el resto siempre es gaussiano, sin importar la distribución inicial.

Promedia suficientes muestras independientes y la media estandarizada sigue una distribución normal estándar, incluso si los originales eran lanzamientos de moneda, dados o alguna distribución sesgada. Esto es por qué aparece tanto la curva en forma de campana: cualquier cosa que sea una suma de muchos efectos pequeños e independientes termina siendo gaussiana.

La figura promedia n tiradas de un dado plano y histograma el resultado a lo largo de muchas pruebas. En n = 1 el histograma es plano (uniforme); sube n y una campana emerge de la nada, el CLT construyendo una gaussiana a partir de una fuente no gaussiana.

Dónde aparece en el MLEl CLT explica la estructura del ruido en optimización estocástica. Un mini-lote de gradiente es una media sobre ejemplos del lote, por lo que el error alrededor del verdadero gradiente es aproximadamente gaussiano con dispersión σ/√(batch size). Eso es por qué el ruido del gradiente se ve normal, por qué lotes más grandes dan pasos proporcionalmente más suaves (pero solo √n-mejor), y por qué las…
▶ Teorema del Límite Central
← Ley de los Grandes NúmerosMedidas Centrales →