Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Momentum verleiht dem Gradientenabstieg ein Gedächtnis. Statt nur den aktuellen Gradienten zu nutzen, hält es einen gleitenden Durchschnitt der jüngsten Gradienten und schreitet in diese angesammelte Richtung.
Das hilft auf zwei Arten: Es glättet verrauschte Gradienten, und es baut Geschwindigkeit entlang der Richtungen auf, in denen die Gradienten immer wieder übereinstimmen. Quer durch eine schmale Schlucht heben sich abwechselnd seitliche Gradienten auf; entlang der nützlichen Richtung addieren sich wiederholte Gradienten.
Eine Bowlingkugel vergisst den letzten Stoß nicht. Ein Stoß bringt sie in Bewegung, und wiederholte Stöße in dieselbe Richtung bauen Geschwindigkeit auf. Kleine seitliche Anstupser kehren sie nicht sofort um. Momentum lässt Optimierung weniger wie einzelne Schritte und mehr wie eine Bewegung mit Trägheit wirken. Sieh es dir unten an: Lass zuerst den einfachen Abstieg mit β = 0 laufen, erhöhe dann β und starte erneut. Das Hin-und-Herprallen verblasst, und der Pfad gewinnt entlang des Tals an Geschwindigkeit.