Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Hyperparameter sind Trainingsentscheidungen, die außerhalb der gelernten Parameter getroffen werden: Lernrate, Batch-Größe, Weight Decay, Warmup-Länge, Dropout, Modellbreite und viele andere.
Hyperparameter-Suche ist der Prozess, Konfigurationen auszuprobieren, ohne sich selbst zu täuschen. Das Ziel ist nicht, einen glücklichen Lauf zu finden. Das Ziel ist, eine Einstellung zu finden, die zuverlässig auf Validierungsdaten funktioniert.
Farbmusterkarten machen die Idee der Suche greifbar. Du streichst nicht das ganze Zimmer für jede mögliche Farbe. Du testest eine strukturierte Auswahl an Mustern, grenzt den Bereich ein und probierst dann die vielversprechendsten Farbtöne unter dem richtigen Licht. Hyperparameter-Suche engt Trainingsentscheidungen auf dieselbe Weise ein. Die Abbildung unten zeigt die Maschinerie, die jedes Muster bewertet: rotierende Validierungs-Folds, sodass jede Kandidaten-Einstellung an Daten beurteilt wird, mit denen sie nie trainiert hat. Diese ehrliche Bewertung unterscheidet eine Suche von einem glücklichen Lauf.