Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
Adam combina dos ideas: el momentum para el gradiente promedio, y un escalado al estilo de RMSProp para el gradiente promedio al cuadrado. Luego corrige el sesgo inicial, porque esos promedios móviles empiezan en cero.
Esa combinación hace de Adam una primera elección habitual en el aprendizaje profundo, especialmente cuando los gradientes son ruidosos y los parámetros tienen escalas muy distintas.
Un piloto automático puede usar dos instrumentos a la vez. Uno muestra la dirección promedio de deriva del avión. El otro muestra qué tan turbulenta ha sido esa dirección. Adam usa la misma idea: moverse con la deriva persistente, pero escalar el movimiento según la turbulencia reciente. En la figura puedes observar directamente la mitad del momentum en Adam: sube β y el rebote se desvanece. Adam añade un truco más encima, dividiendo el paso de cada coordenada entre la escala reciente de gradiente propia de esa coordenada.