Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
El tamaño de lote, escrito B, cambia el ruido en las estimaciones del gradiente. Un lote pequeño da una estimación ruidosa pero barata. Un lote grande da una estimación más estable, pero cada actualización cuesta más.
Cuando el tamaño de lote cambia, la mejor tasa de aprendizaje a menudo también cambia. Los lotes grandes a veces pueden usar tasas de aprendizaje mayores, pero normalmente necesitan calentamiento y una validación cuidadosa.
Una encuesta a boca de urna funciona igual. Preguntar a cinco votantes da una estimación ruidosa. Preguntar a cinco mil votantes da una estimación más estable, pero requiere más trabajo. El tamaño de lote es el tamaño de la encuesta para el gradiente. Ese efecto estabilizador es exactamente lo que demuestra la figura: pulsa Ejecutar y observa cómo el promedio corriente de lanzamientos de moneda se asienta a medida que n crece. Cambia las monedas por gradientes por ejemplo y n por B, y tienes toda la historia del tamaño de lote.