Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Gradient-Clipping begrenzt, wie groß ein Update werden kann. Erzeugt ein Batch einen riesigen Gradienten, skaliert das Clipping ihn herunter, bevor der Optimierer-Schritt ausgeführt wird.
Clipping repariert weder das Ziel noch die Daten. Betrachte es als Sicherheitsregel: Ein einzelner extremer Batch soll die Parameter nicht quer über die Verlustfläche schleudern dürfen.
Der Fliehkraftregler eines Aufzugs ist die passende Analogie. Der Aufzug kann sich normal bewegen, aber wenn er zu schnell wird, begrenzt der Regler die Geschwindigkeit, bevor die Bewegung gefährlich wird. Gradient-Clipping lässt normale Gradienten passieren und begrenzt nur die gefährlichen Ausschläge. Die Abbildung unten zeigt das Objekt, das geclippt wird: Ziehe den Punkt durch die Mulde und beobachte, wie sich der Gradientenpfeil streckt, je steiler die Fläche wird. Clipping deckelt die Länge dieses Pfeils bei c, während die Richtung erhalten bleibt.