특이값 분해는 다른 어떤 분해도 해내지 못하는 일을 합니다. 정방이든 직사각형이든, 풀 랭크이든 아니든 모든 행렬을 세 개의 깔끔한 기하학적 조각으로 쪼갭니다.
오른쪽에서 왼쪽으로 읽으면, 모든 선형 사상은 똑같은 세 단계 운동입니다. Vᵀ가 입력을 회전시켜 알맞은 축에 정렬하고, Σ(대각이며 음이 아닌 특이값 σ₁ ≥ σ₂ ≥ …를 담은 행렬)가 각 축을 스케일하며, U가 그 결과를 출력 공간으로 회전시킵니다. 입력의 원은 언제나 타원으로 사상되고, 특이값이 바로 그 타원의 축 길이입니다.
그림에서 단위원이 타원으로 변하는 모습을 보세요. 특이값이 정확히 그 타원의 반축이 됩니다.
머신러닝에서의 위치SVD는 모델 압축의 바탕이 되는 수학입니다. LoRA는 유용한 가중치 업데이트가 몇 개의 큰 σ 방향에 놓인다는 사실을 이용해, 그 업데이트를 저랭크 곱으로 근사합니다. PCA는 중심화한 데이터에 대한 SVD입니다. 잘라낸 SVD는 지배적인 특이 방향만 남겨 임베딩 테이블이나 이미지를 압축하는데, 매번 똑같은 «큰 σ를 남겨라» 움직임입니다.