Cum învață de fapt modelele, de la coborârea pe gradient standard la Adam
Momentum-ul oferă memorie coborârii pe gradient. În loc să folosească doar gradientul curent, păstrează o medie mobilă a gradienților recenți și face pași în acea direcție cumulată.
Acest lucru ajută în două moduri: netezește gradienții zgomotoși și acumulează viteză de-a lungul direcțiilor unde gradienții continuă să fie de acord. De-a lungul unei râpe înguste, gradienții laterali alternanți se anulează; de-a lungul direcției utile, gradienții repetați se adună.
O bilă de bowling nu uită ultima împingere. O împingere o pune în mișcare, iar împingerile repetate în aceeași direcție îi cresc viteza. Micile ghionturi laterale nu o inversează instantaneu. Momentum-ul face ca optimizarea să se comporte mai puțin ca niște pași separați și mai mult ca o mișcare cu inerție. Vedeți cum se întâmplă mai jos: rulați mai întâi coborârea simplă cu β = 0, apoi creșteți β și rulați din nou. Ricoșeul dintr-o parte în alta se estompează, iar calea capătă viteză de-a lungul văii.