Геометрия и алгебра линейных отображений, векторов и матриц
Симметричные матрицы (A = Aᵀ) необычно хорошо ведут себя, и именно они чаще всего встречаются в ML. Ковариационные матрицы, гессианы, матрицы Грама: все симметричны. Они поставляются с гарантией, достаточно чистой, чтобы иметь имя.
Спектральная теорема: каждая вещественная симметричная матрица имеет вещественные собственные значения и полный набор ортогональных собственных векторов. Никаких комплексных чисел, никаких дефектных случаев, собственные направления встречаются под идеальными прямыми углами. Всегда можно диагонализовать ортогональной матрицей.
Поскольку Q ортогональна, Q⁻¹ = Qᵀ, разложение состоит из поворота, масштабирования и обратного поворота. Собственные векторы дают идеальную ортонормированную систему координат — бесплатно.