Geometria e álgebra de aplicações lineares, vetores e matrizes
Matrizes simétricas (A = Aᵀ) são incomumente bem-comportadas, e por acaso são as que mais aparecem em ML. Matrizes de covariância, Hessiana, Gram: todas simétricas. Elas vêm com uma garantia limpa o bastante para ter um nome.
O teorema espectral: toda matriz simétrica real tem autovalores reais e um conjunto completo de autovetores ortogonais. Sem números complexos, sem casos defeituosos, e as direções de autovalores se encontram em ângulos retos perfeitos. Você sempre pode diagonalizá-la com uma matriz ortogonal.
Como Q é ortogonal, Q⁻¹ = Qᵀ, então a decomposição é construída a partir de uma rotação, um escalonamento, e a rotação reversa. Os autovetores te dão um sistema de coordenadas ortonormal perfeito, entregue de graça.