Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Моментумът дава на градиентното спускане памет. Вместо да използва само текущия градиент, той поддържа плъзгаща се средна стойност на скорошните градиенти и прави стъпка в тази натрупана посока.
Това помага по два начина: изглажда шумните градиенти и натрупва скорост по посоките, в които градиентите постоянно се съгласуват. През тесен пролом редуващите се странични градиенти се анулират; по полезната посока повтарящите се градиенти се сумират.
Топка за боулинг не забравя последния тласък. Един тласък я задвижва, а повтарящите се тласъци в една и съща посока натрупват скорост. Малки странични побутвания не я обръщат мигновено. Моментумът кара оптимизацията да прилича по-малко на отделни стъпки и повече на движение с инерция. Вижте го в действие по-долу: пуснете първо обикновено спускане с β = 0, после увеличете β и пуснете отново. Страничният рикошет заглъхва, а пътят набира скорост по дължината на долината.