Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
O momentum dá memória ao gradiente descendente. Em vez de usar só o gradiente atual, ele mantém uma média móvel dos gradientes recentes e dá o passo nessa direção acumulada.
Isso ajuda de duas formas: suaviza gradientes ruidosos e ganha velocidade nas direções em que os gradientes continuam concordando. Num vale estreito, os gradientes laterais alternados se cancelam; na direção útil, os gradientes repetidos se somam.
Uma bola de boliche não esquece o último empurrão. Um empurrão a coloca em movimento, e empurrões repetidos na mesma direção ganham velocidade. Pequenos empurrões laterais não a fazem inverter instantaneamente. O momentum faz a otimização se comportar menos como passos separados e mais como movimento com inércia. Veja isso acontecer abaixo: rode primeiro o gradiente descendente puro com β = 0, depois aumente β e rode de novo. O ricochete lateral desaparece e o caminho ganha velocidade ao longo do vale.