Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Ein Optimierer-Labor vergleicht Optimierer unter kontrollierten Bedingungen. Du lässt dasselbe Modell, dieselben Daten, dieselbe Batch-Größe, dasselbe Schedule-Budget und denselben Seed-Plan laufen und änderst dann den Optimierer oder eine einzelne Optimierer-Einstellung.
Ohne diese Kontrolle werden Optimierer-Vergleiche zu bloßen Geschichten. Ein schnellerer Lauf hat vielleicht nur eine bessere Lernrate, einen anderen Schedule oder einen glücklicheren Seed verwendet.
Ein Testtag auf der Rennstrecke hat dafür klare Regeln. Vergleichst du zwei Autos, hältst du Strecke, Reifen, Tankfüllung und Wetter so kontrolliert wie möglich. Sonst kannst du nicht sagen, ob das Auto schneller war oder die Bedingungen leichter. Die Abbildung unten ist eine Miniatur-Laborbank: dieselbe gestreckte Fläche bei jedem Lauf, mit η, β und κ als deinen Variablen. Ändere genau eine, lass sie laufen und vergleiche die Pfade. Das ist die ganze Disziplin dieser Lektion in einem einzigen Widget.