Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
La tasa de aprendizaje es el tamaño de paso del descenso del gradiente. El gradiente indica hacia dónde crece más rápido la pérdida; el optimizador se mueve en la dirección contraria. La tasa de aprendizaje η decide qué tan lejos se mueve.
Demasiado pequeña y el entrenamiento avanza a paso de tortuga. Demasiado grande y la actualización puede saltar por encima de la región útil, rebotar o explotar. La mayoría de los problemas de optimización que parecen misteriosos son, en el fondo, problemas de tamaño de paso.
Un kayak muestra esta disyuntiva. Las paladas diminutas mantienen el control pero hacen que el avance sea lento. Las paladas enormes pueden desviar el kayak fuera del canal, y entonces desperdicias energía corrigiendo el rumbo. La tasa de aprendizaje es el largo de la palada. Pruébalo abajo: elige un punto de partida, luego sube η entre ejecuciones y observa cómo un avance constante se convierte en sobrepaso y rebote.