고유벡터와 고윳값

선형 사상, 벡터, 행렬의 기하학과 대수

대부분의 벡터는 행렬이 작용하면 방향이 틀어집니다. 즉 늘어나는 동시에 회전합니다. 그러나 몇몇 특별한 방향은 불변입니다. 행렬은 이들을 늘이거나 뒤집기만 할 뿐, 결코 돌리지 않습니다. 이런 방향이 바로 고유벡터이고, 그 늘림 계수가 고윳값입니다.

소리 내어 읽어 보세요. 고유벡터 v에 A를 적용하면 같은 방향이 그대로 돌아오되 λ만큼만 스케일됩니다. λ = 2이면 그 방향이 두 배로 늘어나고, λ = −1이면 뒤집히며, λ = 0.5이면 절반으로 줄어듭니다. 고유벡터는 변환의 골격을 이루는, 변환이 가장 단순하게 작용하는 축입니다.

그림에서 벡터를 드래그해 보세요. 대부분의 방향은 A 아래에서 눈에 띄게 회전하지만, 고유벡터 방향에서만 출력이 입력과 평행을 유지합니다.

머신러닝에서의 위치고유벡터는 어떤 과정이 자연스럽게 따라 움직이는 방향입니다. PCA에서 공분산 행렬의 고유벡터는 분산이 가장 큰 축, 즉 데이터가 실제로 퍼지는 방향입니다. 최적화에서는 헤세안의 고윳값이 각 방향에서 손실의 곡률을 설명합니다. 큰 고윳값은 가파른 벽을, 작은 고윳값은 평평한 골짜기를 뜻하며, 그 비율(조건수)이 손실 표면을 내려가기가 얼마나 어려운지를 결정합니다.
▶ 고유벡터와 고윳값
← 역행렬대각화 →