Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận
Ma trận đối xứng (A = Aᵀ) hoạt động đẹp một cách khác thường, và tình cờ chúng cũng là loại ma trận xuất hiện nhiều nhất trong ML. Ma trận hiệp phương sai, ma trận Hessian, ma trận Gram: tất cả đều đối xứng. Chúng đi kèm một sự đảm bảo đủ đẹp để được đặt riêng một cái tên.
Định lý phổ: mọi ma trận đối xứng thực đều có giá trị riêng thực và một bộ đầy đủ các vectơ riêng trực giao. Không có số phức, không có trường hợp khiếm khuyết, và các hướng riêng gặp nhau tại các góc vuông hoàn hảo. Bạn luôn chéo hóa được nó bằng một ma trận trực giao.
Vì Q trực giao nên Q⁻¹ = Qᵀ, nghĩa là phép phân tích được dựng từ một phép quay, một phép nhân tỉ lệ và một phép quay ngược. Các vectơ riêng cho bạn một hệ tọa độ trực giao hoàn hảo, hoàn toàn miễn phí.