Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Adam kombiniert zwei Ideen: Momentum für den durchschnittlichen Gradienten und eine RMSProp-artige Skalierung für den durchschnittlichen quadrierten Gradienten. Anschließend korrigiert es die anfängliche Verzerrung, weil diese gleitenden Durchschnitte bei null beginnen.
Diese Kombination macht Adam zu einer verbreiteten ersten Wahl im Deep Learning, besonders wenn Gradienten verrauscht sind und Parameter sehr unterschiedliche Skalen haben.
Ein Autopilot kann zwei Instrumente gleichzeitig nutzen. Eines zeigt die durchschnittliche Abdrift-Richtung des Flugzeugs. Das andere zeigt, wie turbulent diese Richtung war. Adam nutzt dieselbe Idee: mit der anhaltenden Abdrift bewegen, die Bewegung aber nach der jüngsten Turbulenz skalieren. Im Bild kannst du die Momentum-Hälfte von Adam direkt beobachten: Erhöhe β, und das Abprallen verblasst. Adam legt noch einen Trick obendrauf, indem es den Schritt jeder Koordinate durch die eigene jüngste Gradientenskala dieser Koordinate teilt.