Geometrie und Algebra von linearen Abbildungen, Vektoren und Matrizen
Symmetrische Matrizen (A = Aᵀ) verhalten sich ungewöhnlich gutartig, und es sind gerade jene, die in der ML am häufigsten auftauchen. Kovarianzmatrizen, Hesse-Matrizen, Gram-Matrizen: allesamt symmetrisch. Sie kommen mit einer Garantie für saubere Struktur.
Der Spektralsatz: Jede reelle symmetrische Matrix hat reelle Eigenwerte und eine vollständige Menge orthogonaler Eigenvektoren. Keine komplexen Zahlen, keine defekten Fälle, und die Eigenrichtungen treffen sich in perfekten rechten Winkeln. Man kann sie stets mit einer orthogonalen Matrix diagonalisieren.
Da Q orthogonal ist, gilt Q⁻¹ = Qᵀ, sodass die Zerlegung aus einer Rotation, einer Skalierung und der umgekehrten Rotation besteht. Die Eigenvektoren liefern Ihnen ein perfektes orthonormales Koordinatensystem, frei Haus.