Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Methoden erster Ordnung nutzen Gradienten. Methoden zweiter Ordnung nutzen zusätzlich die Krümmung, meist über die Hesse-Matrix. Die Krümmung verrät dem Optimierer, wie sich der Gradient selbst ändert, während sich die Parameter bewegen.
Das Newton-Verfahren nutzt diese Krümmung, um einen Schritt zu wählen, der bei einer quadratischen Funktion direkt zum Minimum springen kann. Der Preis dafür: In modernen neuronalen Netzen sind Hesse-Matrizen riesig.
Ein Kranführer nutzt eine Lasttabelle, weil die Richtung allein nicht reicht. Die Last biegt auch den Ausleger, und diese Biegung verändert, welche Bewegung sicher ist. Die Optimierung zweiter Ordnung liest die Biegung, nicht nur den Zug, bevor sie entscheidet, wie weit sie sich bewegt. Im Bild übernimmst du die Rolle des Kranführers: Verschiebe die beiden Krümmungen und beobachte, wie die Oberfläche zu einer Schale, einer Kuppel oder einem Sattel wird. Die Eigenwerte der Hesse-Matrix sind genau diese beiden Regler.