Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Eine feste Lernrate ist selten optimal für einen ganzen Trainingslauf. Am Anfang des Trainings verträgt das Modell größere Schritte, weil die Parameter noch weit von brauchbaren Einstellungen entfernt sind. Später im Training braucht es oft kleinere Schritte, um sich einzupendeln.
Ein Zeitplan verändert η im Laufe der Zeit. Warmup beginnt mit einer kleinen Lernrate und erhöht sie schrittweise, bevor der eigentliche Zeitplan einsetzt.
Wenn du einen Drachen steigen lässt, ziehst du die Schnur nicht sofort auf volle Spannung. Du lässt ihn steigen, spürst den Wind und passt die Leine an, sobald er sich stabilisiert. Warmup ist dieser sanfte Start. Der spätere Zeitplan ist die Art, wie du die Leine führst, sobald der Drachen fliegt.