Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
El momentum le da memoria al descenso del gradiente. En lugar de usar solo el gradiente actual, mantiene un promedio móvil de los gradientes recientes y avanza en esa dirección acumulada.
Esto ayuda de dos maneras: suaviza los gradientes ruidosos, y acumula velocidad a lo largo de direcciones donde los gradientes siguen coincidiendo. A través de un barranco angosto, los gradientes laterales alternos se cancelan; a lo largo de la dirección útil, los gradientes repetidos se suman.
Una bola de bolos no olvida el último empujón. Un empujón la pone en movimiento, y empujones repetidos en la misma dirección acumulan velocidad. Pequeños golpecitos laterales no la desvían al instante. El momentum hace que la optimización se comporte menos como pasos separados y más como un movimiento con inercia. Míralo suceder abajo: ejecuta primero el descenso simple con β = 0, luego sube β y ejecútalo de nuevo. El rebote de lado a lado se desvanece y la trayectoria gana velocidad a lo largo del valle.