Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Momentum geeft gradiëntafdaling een geheugen. In plaats van alleen de huidige gradiënt te gebruiken, houdt het een lopend gemiddelde van recente gradiënten bij en stapt het in die opgebouwde richting.
Dit helpt op twee manieren: het verzacht ruizige gradiënten, en het bouwt snelheid op langs richtingen waarin gradiënten het steeds met elkaar eens blijven. Dwars over een smal ravijn heffen afwisselende zijwaartse gradiënten elkaar op; langs de nuttige richting tellen herhaalde gradiënten juist op.
Een bowlingbal vergeet de laatste zet niet. Eén zet zet hem in beweging, en herhaalde zetten in dezelfde richting bouwen snelheid op. Kleine zijwaartse duwtjes keren hem niet meteen om. Momentum laat optimalisatie minder aanvoelen als losse stappen en meer als beweging met traagheid. Zie het hieronder gebeuren: laat eerst gewone afdaling lopen met β = 0, verhoog dan β en laat het opnieuw lopen. Het heen-en-weer-kaatsen vervaagt en het pad wint snelheid langs het dal.