Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
El diagnóstico de optimizadores significa leer la ejecución de entrenamiento antes de cambiar la receta de entrenamiento. Una curva de pérdida, una norma del gradiente y una curva de validación normalmente te dicen si el problema es el tamaño del paso, los datos, la escala, el sobreajuste o un límite real del modelo.
Esto no es adivinar. Cada patrón de fallo tiene una forma típica: pérdida que explota, pérdida plana, pérdida ruidosa pero que mejora, pérdida de entrenamiento que baja mientras la pérdida de validación sube, o valores NaN repentinos.
Las tiras de análisis para acuarios dan una imagen útil. No arreglas el agua turbia echando químicos al azar. Primero mides el pH, el amoníaco y el nitrato, y luego tratas la lectura que realmente está mal. El diagnóstico de optimizadores hace lo mismo con el entrenamiento: mide primero, y luego cambia aquello que la medición señala. Usa la figura para calibrar tu ojo. Ejecútala una vez para un descenso saludable, y luego sube η y reproduce a voluntad el patrón inestable y rebotante.