Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Optimierer-Diagnose bedeutet, den Trainingslauf zu lesen, bevor du das Trainingsrezept änderst. Eine Verlustkurve, eine Gradientennorm und eine Validierungskurve verraten dir meist, ob das Problem an der Schrittweite, den Daten, der Skalierung, an Overfitting oder an einer echten Grenze des Modells liegt.
Das ist kein Rätselraten. Jedes Fehlermuster hat eine typische Form: explodierender Verlust, flacher Verlust, verrauschter, aber sich verbessernder Verlust, ein Trainingsverlust, der fällt, während der Validierungsverlust steigt, oder plötzliche NaN-Werte.
Aquarium-Teststreifen liefern ein nützliches Bild. Trübes Wasser reparierst du nicht, indem du wahllos Chemikalien hineinschüttest. Du testest zuerst pH-Wert, Ammoniak und Nitrat und behandelst dann genau den Wert, der wirklich schlecht ist. Optimierer-Diagnose macht beim Training dasselbe: erst messen, dann genau das ändern, worauf die Messung zeigt. Nutze die Abbildung, um dein Auge zu schulen. Lass sie einmal für einen gesunden Abstieg laufen, dann drehe η hoch und reproduziere das instabile, hüpfende Muster auf Knopfdruck.