Geometri dan aljabar pemetaan linear, vektor, dan matriks
Matriks simetris (A = Aᵀ) berperilaku sangat rapi, dan kebetulan merekalah yang paling sering muncul dalam ML. Matriks kovarians, Hessian, matriks Gram: semuanya simetris. Mereka datang dengan jaminan yang cukup bersih untuk punya nama.
Teorema spektral: setiap matriks simetris real memiliki eigenvalue real dan satu set penuh eigenvector ortogonal. Tidak ada bilangan kompleks, tidak ada kasus defective, dan arah eigen bertemu pada sudut siku-siku sempurna. Kamu selalu bisa mendiagonalkannya dengan matriks ortogonal.
Karena Q ortogonal, Q⁻¹ = Qᵀ, jadi dekomposisi ini dibangun dari rotasi, penskalaan, dan rotasi balik. Eigenvector memberimu sistem koordinat ortonormal sempurna, gratis.