선형 사상, 벡터, 행렬의 기하학과 대수
대칭 행렬(A = Aᵀ)은 유난히 잘 행동하며, 공교롭게도 ML에서 가장 자주 등장하는 행렬이기도 합니다. 공분산 행렬, 헤세안, 그램 행렬이 모두 대칭입니다. 이들에게는 이름을 붙일 만큼 깔끔한 보장이 따릅니다.
스펙트럼 정리: 모든 실대칭 행렬은 실수 고윳값과 완전한 직교 고유벡터 집합을 가집니다. 복소수도 없고, 결함 사례도 없으며, 고유 방향들이 서로 완벽한 직각으로 만납니다. 그래서 항상 직교 행렬을 이용해 대각화할 수 있습니다.
Q가 직교이므로 Q⁻¹ = Qᵀ이고, 따라서 이 분해는 회전, 스케일링, 역회전으로 이루어집니다. 고유벡터들이 완벽한 정규 직교 좌표계를 거저 안겨 주는 셈입니다.