Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
El descenso del gradiente de lote completo usa todos los ejemplos de entrenamiento para calcular cada actualización; el descenso del gradiente estocástico va al otro extremo y usa solo uno. El descenso del gradiente por mini-lotes queda en medio con un lote pequeño, y ese compromiso es lo que realmente hace funcionar al aprendizaje profundo.
Un gradiente de mini-lote es una estimación ruidosa del gradiente completo. Es más barato, y a menudo más útil que el gradiente completo exacto, porque da muchas actualizaciones rápidas y su ruido puede ayudar a la exploración.
Los controles de calidad de cereales usan el mismo compromiso. Abrir cada caja es preciso pero lento. Revisar una sola caja es ruidoso. Revisar una bandeja de cajas da una estimación útil con rapidez. Los mini-lotes son esas bandejas. La figura de abajo hace visible la estadística: presiona Ejecutar y observa cómo un promedio acumulado se estabiliza a medida que llegan más muestras. Un gradiente de mini-lote es el mismo tipo de objeto, un promedio que se estabiliza a medida que crece el lote.