Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
O momentum dá memória ao gradiente descendente. Em vez de usar apenas o gradiente atual, mantém uma média móvel dos gradientes recentes e dá o passo nessa direção acumulada.
Isto ajuda de duas formas: suaviza gradientes ruidosos, e ganha velocidade ao longo de direções onde os gradientes continuam a concordar. Ao longo de uma ravina estreita, gradientes laterais alternados cancelam-se; ao longo da direção útil, gradientes repetidos somam-se.
Uma bola de bowling não se esquece do último empurrão. Um empurrão põe-na em movimento, e empurrões repetidos na mesma direção ganham velocidade. Pequenos empurrões laterais não a invertem instantaneamente. O momentum faz a otimização comportar-se menos como passos separados e mais como movimento com inércia. Vê acontecer abaixo: corre primeiro a descida simples com β = 0, depois sobe β e corre outra vez. O ricochete lado a lado desvanece-se e o caminho ganha velocidade ao longo do vale.