대각화

선형 사상, 벡터, 행렬의 기하학과 대수

대각화는 행렬을 그 자신에게 가장 자연스러운 좌표계, 곧 고유벡터로 짜인 좌표계로 다시 표현하는 것입니다. 그 좌표계에서 행렬은 대각이 됩니다. 각 고유축을 해당 고윳값만큼 스케일하는 일밖에 하지 않습니다. 그렇게 얽혀 있던 변환이 단순해집니다.

여기서 P는 열에 고유벡터를 담고, D는 대각선에 고윳값을 담습니다. 이 곱을 오른쪽에서 왼쪽으로 읽으면 세 단계 레시피가 됩니다. P⁻¹가 고유 좌표계로 회전시키고, D가 각 축을 스케일하며, P가 다시 원래대로 회전시킵니다. 복잡한 변환이 두 번의 관점 전환 사이에 놓인 순수한 늘림으로 표현되는 셈입니다.

대각화 덕분에 행렬 거듭제곱이 거의 공짜가 됩니다. 가운데의 P⁻¹P 쌍이 상쇄되므로 Aᵏ = P Dᵏ P⁻¹이 되는데, 대각 행렬을 거듭제곱하는 것은 각 대각 항목을 그 거듭제곱으로 올리기만 하면 됩니다. 행렬 곱셈을 반복할 필요가 없습니다.

머신러닝에서의 위치대각화는 반복되는 선형 사상의 장기 거동을 설명하는데, 거의 모든 반복 알고리즘은 고정점 근처에서 사실상 반복 사상입니다. 학습 역학이 수렴하느냐 폭발하느냐는 관련 고윳값이 단위원 안에 있느냐 밖에 있느냐에 달려 있습니다. 같은 아이디어를 대칭 행렬에 적용하면 PCA와 최적화기의 행렬 제곱근을 구동하는 스펙트럼 분해가 됩니다.
▶ 대각화
← 고유벡터와 고윳값대칭 행렬 →