Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Ein Lernraten-Finder ist ein kurzer Diagnoselauf. Du startest mit einer winzigen Lernrate, erhöhst sie über viele Mini-Batches hinweg und beobachtest, wie der Verlust reagiert.
Du versuchst hier nicht, das Training abzuschließen; du suchst nach dem Bereich, in dem das Modell zu lernen beginnt, bevor der Verlust instabil wird.
Belichtungsreihen beim Fotografieren nutzen dieselbe Idee. Du machst eine Serie von Aufnahmen von zu dunkel bis zu hell und wählst dann den Bereich, in dem Details klar erkennbar sind. Der Finder macht dasselbe mit Trainingsschritten: Er fährt η von zaghaft bis rücksichtslos hoch und markiert, wo das Lernen scharf wird. Du kannst einen manuellen Finder in der Abbildung unten selbst nachspielen: Lass sie mit kleinem η laufen, schraube es leicht hoch, lass sie erneut laufen. Irgendwann kippt das sanfte Gleiten in Überschießen und Hüpfen um, und genau das ist die Explosionsgrenze, nach der der Sweep sucht.