Geometria e álgebra das aplicações lineares, vetores e matrizes
As matrizes simétricas (A = Aᵀ) são invulgarmente bem-comportadas, e acontece serem as que mais aparecem em ML. Matrizes de covariância, Hessiana, Gram: todas simétricas. Vêm com uma garantia suficientemente limpa para ter nome.
O teorema espectral: toda a matriz simétrica real tem valores próprios reais e um conjunto completo de vetores próprios ortogonais. Sem números complexos, sem casos defeituosos, e as direções de vetores próprios encontram-se em ângulos retos perfeitos. Podes sempre diagonalizá-la com uma matriz ortogonal.
Como Q é ortogonal, Q⁻¹ = Qᵀ, então a decomposição é construída a partir de uma rotação, um escalonamento, e a rotação inversa. Os vetores próprios dão-te um sistema de coordenadas ortonormal perfeito, entregue de graça.