Konvexität

Eindimensionale Analysis aus ersten Prinzipien

Konvexität ist die Form, die Optimierung einfach macht. Eine konvexe Funktion wölbt sich überall nach oben wie eine Schale, und genau diese eine Eigenschaft macht sie leicht zu minimieren: Es gibt genau einen tiefsten Punkt, und jeder abwärts führende Weg führt geradewegs dorthin.

Es gibt drei gleichwertige Sichtweisen auf Konvexität. Erstens: Die zweite Ableitung ist überall nicht-negativ: f″(x) ≥ 0. Zweitens: Die Kurve wölbt sich nach oben und biegt sich nirgends nach unten. Drittens, das definierende Bild: Eine Sehne zwischen je zwei Punkten verläuft oberhalb der Kurve.

Stelle dir ein sanftes Tal oder das Innere einer Schale vor und lass eine Murmel irgendwo darauf fallen. Egal, wo sie anfängt, die Murmel rollt immer zum einzigen tiefsten Punkt hinab und bleibt dort liegen. Das ist genau das, was dir die Konvexität einbringt: ein Tal, keine doppelten Böden, sodass jeder Weg bergab zu dem einen wahren Minimum führt.

Wo das im ML vorkommtKonvexität ist die Trennlinie im ML. Lineare/logistische Regression und SVMs haben konvexe Verlustfunktionen: ein einziges globales Minimum, das Training ist verlässlich und reproduzierbar. Tiefe Netze haben wild nicht-konvexe Verlustfunktionen mit unzähligen lokalen Minima und Sattelpunkten, weshalb verschiedene zufällige Initialisierungen in unterschiedlichen Lösungen landen, warum die Lernrate…
▶ Konvexität
← Zweite AbleitungskriteriumGradientenabstiegs-Vorschau →