Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Momentum, gradyan inişine bir hafıza kazandırır. Yalnızca mevcut gradyanı kullanmak yerine, son gradyanların hareketli bir ortalamasını tutar ve bu birikmiş yönde adım atar.
Bu iki şekilde yardımcı olur: gürültülü gradyanları pürüzsüzleştirir ve gradyanların sürekli hemfikir olduğu yönlerde hız kazandırır. Dar bir vadi boyunca, birbirini izleyen yanal gradyanlar birbirini götürür; yararlı yön boyunca ise tekrar eden gradyanlar toplanır.
Bir bowling topu son itişi unutmaz. Bir itiş onu hareket ettirmeye başlar ve aynı yöndeki tekrar eden itişler hız kazandırır. Küçük yanal dürtmeler onu anında tersine çevirmez. Momentum, optimizasyonu ayrı adımlar yerine ataletli bir harekete benzer şekilde davranmaya iter. Aşağıda gerçekleşirken izle: önce β = 0 ile düz inişi çalıştır, sonra β'yı yükselt ve tekrar çalıştır. Yandan yana sekme kaybolur ve yol vadi boyunca hız kazanır.