Quadratische Formen

Geometrie und Algebra von linearen Abbildungen, Vektoren und Matrizen

Eine quadratische Form xᵀAx nimmt einen Vektor entgegen und gibt eine einzelne Zahl zurück, die sich quadratisch in x ändert – die Matrixversion von ax². Durchläuft x alle Richtungen, zeichnet diese Zahl eine Fläche nach, und die Matrix A (als symmetrisch angenommen) bestimmt die Gestalt dieser Fläche.

Ihre Eigenwerte sind die Krümmungen entlang der Eigenachsen, und ihre Vorzeichen klassifizieren die Fläche vollständig. Alle positiv: eine nach oben geöffnete Schale (positiv definit) mit einem sauberen Minimum. Alle negativ: ein Dach (negativ definit) mit einem Maximum. Gemischte Vorzeichen: ein Sattel (indefinit), in einigen Richtungen nach oben, in anderen nach unten.

Ändern Sie im Bild die Vorzeichen der Eigenwerte und beobachten Sie, wie sich die Fläche zwischen Schale, Dach und Sattel verwandelt.

Wo das im ML vorkommtDie quadratische Form δᵀHδ ist der Term zweiter Ordnung in der Taylor-Entwicklung einer Verlustfunktion; sie ist die lokale Krümmung. Eine positiv definite Hesse-Matrix bedeutet ein lokales Minimum (eine Schale); eine indefinite bedeutet einen Sattel, von denen hochdimensionale Verlustflächen geradezu übersät sind. Diese Krümmungsanalyse treibt Optimierer zweiter Ordnung an (das Newton-Verfahren)…
▶ Quadratische Formen
← ProjektionenVektoren und Geometrie von Rⁿ →