전치

선형 사상, 벡터, 행렬의 기하학과 대수

전치 Aᵀ는 행렬을 주대각선에 대해 뒤집은 것입니다. 행은 열이 되고 열은 행이 됩니다. 성분 (i, j)는 (j, i)와 자리를 맞바꿉니다. 그래서 (m×n) 행렬은 (n×m) 행렬이 됩니다.

행은 사람이고 열은 각자가 지불한 월(month)인 스프레드시트를 상상해 보세요. 그것을 전치하는(Transposing) 것은 전체 테이블을 대각선으로 기울여 행이 열이 되게 하는 것입니다: 이제 행은 월이고 열은 사람입니다. 어떤 숫자도 사라지거나 변경되지 않습니다 — 각 값은 단지 미러링된 셀로 이동할 뿐이며, 그곳에서 행 레이블과 열 레이블이 자리를 바꿉니다.

자기 자신의 전치와 같은 행렬, 곧 A = Aᵀ인 행렬을 대칭 행렬이라고 합니다. 대각선을 기준으로 거울처럼 균형을 이루며, Aᵢⱼ = Aⱼᵢ가 성립합니다. 이런 행렬은 충분히 특별해서, 뒤의 두 레슨을 통째로 여기에 할애합니다.

머신러닝에서의 위치전치는 역전파 곳곳에 등장합니다. 순전파에서는 W를 곱하고, 역전파에서는 들어온 그래디언트에 Wᵀ를 곱해 이전 레이어로 돌려보냅니다. 어텐션 점수도 QKᵀ입니다. 그리고 헤세 행렬과 공분산 행렬은 만들어지는 방식 자체가 대칭(A = Aᵀ)인데, 바로 이 점이 뒤 레슨에서 의지하게 될 좋은 고유 구조를 보장해 줍니다.
▶ 전치
← 행렬 곱셈특수 행렬 →