Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Early Stopping nutzt die Validierungsleistung, um zu entscheiden, wann das Training beendet wird. Verbessert sich der Validierungsverlust lange genug nicht mehr, behältst du den besten Checkpoint und stoppst. Der Fortschritt wird hier in Epochen gezählt: Eine Epoche ist ein vollständiger Durchlauf durch die Trainingsdaten, und die Validierung wird meist nach jeder Epoche geprüft.
Das spart Rechenzeit und wirkt zugleich als Regularisierer. Es verhindert, dass das Modell die Trainingsmenge weiter anpasst, nachdem sich die Validierungsleistung bereits zu verschlechtern begonnen hat.
Ein Toaster liefert das richtige Gespür dafür. Holst du das Brot zu früh raus, bleibt es blass. Wartest du zu lange, verbrennt es. Du beobachtest den Toast und stoppst, wenn er die beste Farbe erreicht hat – nicht, wenn das Heizelement so lange wie möglich gelaufen ist. Die Abbildung unten zeigt, woher die „beobachteten“ Daten kommen: Ein Teil der Trainingsdaten wird zurückgehalten, oder Folds rotieren wie gezeigt, sodass das Modell an Beispielen beurteilt wird, die es nie angepasst hat. Early Stopping liest sein Signal genau aus diesem zurückgehaltenen Anteil.