Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Manchmal dürfen sich Parameter nicht überallhin bewegen. Sie müssen Nebenbedingungen erfüllen: nichtnegative Gewichte, beschränkte Normen, Wahrscheinlichkeiten, die nichtnegativ bleiben und sich zu 1 summieren müssen (eine Menge, die man Wahrscheinlichkeitssimplex nennt), Fairness-Grenzen, Sicherheitsgrenzen oder physikalische Machbarkeit.
Eingeschränkte Optimierung bedeutet, den Verlust zu minimieren, während man innerhalb der erlaubten Menge bleibt. Eine praktische Methode ist der projizierte Gradientenabstieg: einen normalen Schritt machen und dann zurück auf die zulässige Menge projizieren.
Ein Saugroboter mit Begrenzungsstreifen kann versuchen, durch eine Wand zu fahren, doch die Begrenzung zwingt ihn zurück in den erlaubten Raum. Projizierte Optimierung funktioniert genauso. Ein Gradientenschritt kann nach außen zeigen, dann klemmt die Projektion das Ergebnis zurück in den zulässigen Bereich. Das Bild unten zeigt den geometrischen Kern der Operation: einen Punkt zu seinem nächstgelegenen Vertreter auf einer erlaubten Menge (hier eine Linie) hinunterzuziehen. Die Projektion auf eine Box oder einen Wahrscheinlichkeitssimplex nutzt dasselbe Prinzip des nächstgelegenen Punkts, nur mit einer anderen erlaubten Menge.