Geometria i algebra odwzorowań liniowych, wektorów i macierzy
Macierze symetryczne (A = Aᵀ) mają niezwykle regularne własności i pojawiają się najczęściej w ML. Macierze kowariancji, hesjany, macierze Grama: wszystkie są symetryczne. Ich struktura niesie ze sobą gwarancję matematyczną tak potężną, że doczekała się ona własnej nazwy.
Twierdzenie spektralne: każda rzeczywista macierz symetryczna dysponuje wyłącznie rzeczywistymi wartościami własnymi oraz pełnym zestawem wzajemnie ortogonalnych wektorów własnych. Żadnych liczb zespolonych, żadnych wybrakowanych macierzy (defective matrices), a osie własne zawsze przecinają się pod kątem prostym. Zawsze możesz ją zdiagonalizować za pomocą macierzy ortogonalnej.
Ponieważ macierz Q jest ortogonalna, zachodzi dla niej zależność Q⁻¹ = Qᵀ, więc rozkład sprowadza się tak naprawdę do czystego obrotu, skalowania osi i odwrotnego obrotu. Wektory własne wyznaczają tutaj idealny, ortonormalny układ współrzędnych — całkowicie za darmo.