Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Ein konvexer Verlust hat eine mächtige Garantie: Jedes lokale Minimum ist global. Das macht die Optimierung begrifflich sauber. Viele klassische ML-Zielfunktionen sind konvex; tiefe Netze meist nicht.
Konvexität lohnt sich trotzdem zu lernen, weil sie den Referenzfall liefert. Sie zeigt dir, wie Optimierung aussähe, gäbe es keine schlechten lokalen Fallen, keine Sattelpunkt-Komplikationen und keine schweren Überraschungen in der Landschaft.
Eine Satellitenschüssel hat eine einzige saubere Ausrichtung, wenn die Signalfläche glatt ist und nur einen Gipfel hat. Zerknittertes Alufolienpapier hat viele winzige glänzende Facetten, die lokal Licht einfangen können. Konvexe Optimierung ähnelt der Schüssel; das Training tiefer Netze ähnelt der Folie. Das Bild unten zeigt den entscheidenden Test an einer konvexen Kurve: Verschiebe die beiden Endpunkte und beobachte, dass die gerade Sehne zwischen ihnen nie unter die Kurve sinkt.