Geometria e algebra di applicazioni lineari, vettori e matrici
Le matrici simmetriche (A = Aᵀ) sono insolitamente ben comportate, e per caso sono quelle che compaiono più spesso nell'ML. Matrici di covarianza, Hessiane, matrici di Gram: tutte simmetriche. Portano una garanzia abbastanza pulita da avere un nome.
Il teorema spettrale: ogni matrice simmetrica reale ha autovalori reali e un insieme completo di autovettori ortogonali. Niente numeri complessi, niente casi difettivi, e le auto-direzioni si incontrano ad angoli retti perfetti. Puoi sempre diagonalizzarla con una matrice ortogonale.
Poiché Q è ortogonale, Q⁻¹ = Qᵀ, quindi la decomposizione è costruita da una rotazione, una dilatazione, e la rotazione inversa. Gli autovettori ti danno un sistema di coordinate ortonormale perfetto, regalato.