Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
RMSProp passt die Schrittweite für jeden Parameter einzeln an. Es verfolgt einen gleitenden Durchschnitt der quadrierten Gradienten und teilt den Gradienten dann durch die Wurzel dieses Durchschnitts.
Der Effekt ist einfach: Koordinaten mit durchgehend großen Gradienten erhalten kleinere effektive Schritte; Koordinaten mit kleinen Gradienten erhalten relativ größere Schritte. Das hilft, wenn die Gradientenskalen stark voneinander abweichen.
Stell dir Förderbänder in einer Fabrik vor, die Pakete mit unterschiedlichem Gewicht tragen. Läuft jedes Band mit demselben rohen Motorbefehl, können schwere Linien ruckeln, während leichte Linien kaum ins Gewicht fallen. RMSProp beobachtet die Last jedes Bands und skaliert den Befehl pro Band. Das Bild unten zeigt die Geometrie, gegen die RMSProp gebaut ist: eine gestreckte Schale, bei der die Gradienten einer Koordinate durchgehend größer ausfallen als die der anderen. RMSProp verkleinert die Schritte der steilen Koordinate und vergrößert relativ dazu die der flachen.