Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Die Lernrate ist die Schrittweite des Gradientenabstiegs. Der Gradient zeigt an, in welche Richtung der Verlust am stärksten steigt; der Optimierer bewegt sich in die entgegengesetzte Richtung. Die Lernrate η entscheidet, wie weit er sich bewegt.
Ist sie zu klein, kriecht das Training voran. Ist sie zu groß, kann die Aktualisierung über den nützlichen Bereich hinausschießen, hin- und herspringen oder explodieren. Die meisten rätselhaft wirkenden Optimiererprobleme sind in Wahrheit zuerst Schrittweitenprobleme.
Ein Kajak zeigt diesen Kompromiss. Winzige Paddelschläge behalten die Kontrolle, machen aber nur langsam Fortschritt. Riesige Schläge können das Kajak über die Fahrrinne hinausdrehen, und dann verschwendest du Energie mit Korrigieren. Die Lernrate ist die Länge des Paddelschlags. Probier es unten aus: Wähle einen Start, erhöhe dann η zwischen den Läufen und beobachte, wie stetiger Fortschritt in Überschießen und Hin-und-Herspringen umschlägt.