Geometry and algebra of linear maps, vectors, and matrices
Simetrik matrisler (A = Aᵀ) alışılmadık derecede iyi davranır ve ML'de en çok karşına çıkanlar da bunlardır. Kovaryans matrisleri, Hessian'lar, Gram matrisleri: hepsi simetriktir. İsim verilecek kadar temiz bir garantiyle gelirler.
Spektral teorem: her gerçek simetrik matrisin gerçek özdeğerleri ve tam bir ortogonal özvektörler kümesi vardır. Karmaşık sayılar yok, defective durumlar yok; öz-yönler kusursuz dik açılarla kesişir. Böyle bir matrisi her zaman ortogonal bir matrisle diyagonalize edebilirsin.
Q ortogonal olduğu için Q⁻¹ = Qᵀ olur; dolayısıyla ayrışım bir döndürme, bir ölçekleme ve ters döndürmeden oluşur. Özvektörler sana bedava gelen kusursuz bir ortonormal koordinat sistemi verir.