Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Il momentum dà memoria alla discesa del gradiente. Invece di usare solo il gradiente corrente, mantiene una media mobile dei gradienti recenti e fa un passo in quella direzione accumulata.
Questo aiuta in due modi: attenua i gradienti rumorosi, e costruisce velocità lungo le direzioni in cui i gradienti continuano a concordare. Attraverso un burrone stretto, i gradienti laterali alternati si cancellano; lungo la direzione utile, i gradienti ripetuti si sommano.
Una palla da bowling non dimentica l'ultima spinta. Una spinta la mette in moto, e spinte ripetute nella stessa direzione costruiscono velocità. Piccole spinte laterali non la fanno invertire istantaneamente. Il momentum fa sì che l'ottimizzazione si comporti meno come passi separati e più come un movimento con inerzia. Guardalo accadere qui sotto: esegui prima la discesa semplice con β = 0, poi alza β ed esegui di nuovo. Il rimbalzo laterale svanisce e il percorso guadagna velocità lungo la valle.