Eindimensionale Analysis aus ersten Prinzipien
Stell dir vor, du möchtest den tiefsten Punkt einer Kurve finden, kannst aber nur den Boden direkt unter deinen Füßen sehen – du spürst die Steigung, mehr nicht. Was tust du? Ganz einfach: Geh in Richtung Abhang, spüre dann erneut, geh wieder. Wiederhole das. Das ist der Gradientenabstieg, der Algorithmus, der praktisch jedes moderne KI-Modell trainiert.
Stelle dir vor, du gehst in dichtem Nebel bergab, der so dicht ist, dass du keinen Schritt vorausschiehen kannst. Du kannst den Talboden nicht erkennen, aber du kannst trotzdem mit deinem Fuß fühlen, in welche Richtung der Boden abfällt, und in diese Richtung einen Schritt machen. Fühlen, Schritt, fühlen, Schritt. Der Gradientenabstieg ist genau dieses blinde, geduldige Schlurfen in Richtung des tiefsten Grundes.
Als Regel geschrieben, die deine Position bei jedem Schritt aktualisiert: