Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Maschinelles Lernen wirkt wie Vorhersage, Klassifikation, Generierung, Empfehlung. Im Kern steckt jedoch immer derselbe mathematische Vorgang: Zahlen wählen, messen, wie schlecht sie sind, dann die Zahlen so ändern, dass diese Schlechtigkeit kleiner wird. Das ist Optimierung.
Die Zahlen sind die Parameter des Modells, meist in einem einzigen riesigen Vektor θ zusammengefasst. Der Schlechtigkeitswert ist der Verlust, geschrieben L(θ). Training bedeutet, den Parameterraum nach einer Einstellung zu durchsuchen, die diesen Verlust klein macht. Die Kurzschreibweise unten sagt genau das: argmin liefert den siegreichen Eingabewert (das θ, das den Verlust am kleinsten macht), nicht den siegreichen Wert selbst, und der Stern an θ⋆ kennzeichnet ihn als diese beste Einstellung.
Eine Bewässerungssteuerung im Gewächshaus kann Tausende winziger Sprinklerzonen haben. Jede Einstellung verändert, wie gesund die Pflanzen werden, doch die Erntenote siehst du erst, nachdem das Wasser gelaufen ist. Ein neuronales Netz funktioniert ähnlich: Die Parameter sind die Sprinklereinstellungen, der Verlust ist die Erntenote, die du verbessern willst, und Optimierung ist die Regel, mit der du viele Einstellungen gemeinsam veränderst.