Meetkunde en algebra van lineaire afbeeldingen, vectoren en matrices
Symmetrische matrices (A = Aᵀ) gedragen zich ongewoon netjes, en ze blijken juist degene te zijn die het meest in ML opduiken. Covariantiematrices, Hessianen, Gram-matrices: allemaal symmetrisch. Ze komen met een garantie die net genoeg is om een naam te hebben.
De spectraalstelling: elke reële symmetrische matrix heeft reële eigenwaarden en een volledige verzameling orthogonale eigenvectoren. Geen complexe getallen, geen defecte gevallen, en de eigen-richtingen ontmoeten elkaar onder perfecte rechte hoeken. Je kunt hem altijd diagonaliseren met een orthogonale matrix.
Omdat Q orthogonaal is, geldt Q⁻¹ = Qᵀ, dus de decompositie is opgebouwd uit een rotatie, een schaling en de omgekeerde rotatie. De eigenvectoren geven je een perfect orthonormaal coördinatenstelsel, gratis aangereikt.