Ley de los Grandes Números

Las matemáticas de la incertidumbre

Lanza una moneda justa diez veces y podrías obtener 7 caras. Lánzala diez mil veces y la fracción de caras se acercará sorprendentemente a 0,5. Eso es la ley de los grandes números: a medida que recopilas más datos, la media muestral converge hacia la esperanza verdadera.

El azar no desaparece y los resultados individuales permanecen impredecibles, pero el promedio de muchos de ellos se estabiliza. La ley débil dice que esta convergencia es "con probabilidad": para cualquier tolerancia, la probabilidad de que el promedio esté fuera por más de esa tolerancia disminuye hacia 0 a medida que n crece.

Presiona Ejecutar en la figura para lanzar monedas una a la vez y observa cómo el promedio móvil se desvía salvajemente al principio, luego se acerca al verdadero promedio trazado. Más muestras, convergencia más estrecha.

Dónde aparece en el MLLa ley de los grandes números es lo que hace que el entrenamiento por mini-lotes sea razonable. El gradiente verdadero es una esperanza sobre toda la distribución de datos; un gradiente por mini-lote es un promedio muestral de él. Por la LLN, ese promedio aproxima el gradiente verdadero y se vuelve más preciso con lotes más grandes. Cada estimación de Monte Carlo en ML (recompensa esperada, un…
▶ Ley de los Grandes Números
← Información MutualTeorema del Límite Central →