Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Pęd (momentum) daje spadkowi gradientowemu pamięć. Zamiast korzystać wyłącznie z bieżącego gradientu, utrzymuje kroczącą średnią niedawnych gradientów i wykonuje krok w tym skumulowanym kierunku.
Pomaga to na dwa sposoby: wygładza zaszumione gradienty i buduje prędkość wzdłuż kierunków, w których gradienty wciąż się ze sobą zgadzają. W poprzek wąskiego wąwozu naprzemienne, boczne gradienty się znoszą; wzdłuż użytecznego kierunku powtarzające się gradienty się sumują.
Kula do kręgli nie zapomina ostatniego pchnięcia. Jedno pchnięcie wprawia ją w ruch, a powtarzane pchnięcia w tym samym kierunku budują prędkość. Drobne boczne szturchnięcia nie odwracają jej ruchu od razu. Pęd sprawia, że optymalizacja przypomina mniej ciąg oddzielnych kroków, a bardziej ruch z bezwładnością. Zobacz to poniżej: uruchom najpierw zwykły spadek z β = 0, a potem zwiększ β i uruchom ponownie. Rykoszetowanie z boku na bok zanika, a ścieżka nabiera prędkości wzdłuż doliny.