행렬 곱셈

선형 사상, 벡터, 행렬의 기하학과 대수

행렬 곱셈은 까다로운 규칙처럼 보이지만 그 의미는 깔끔합니다. AB는 두 변환의 합성입니다. 먼저 B를, 그다음에 A를 적용합니다. 곱은 이 두 운동을 한 번에 수행하는 단일 행렬입니다.

AB의 한 성분을 계산하려면 A의 한 행과 B의 한 열의 내적을 구하면 됩니다. 성분 (i, j)는 A의 i번째 행과 B의 j번째 열의 내적입니다. 알고리즘 전체가 이게 다입니다. 격자 모양으로 배열된 내적인 셈입니다.

공장 라인에 있는 두 대의 기계를 상상해 보세요. 첫 번째 기계 B 가 부품의 모양을 바꾸고, 두 번째 기계 A 가 다시 모양을 바꿉니다. 곱 AB 는 한 번의 통과로 두 단계를 모두 수행하는 단일 결합 기계 입니다 — 부품이 A 보다 먼저 B 를 통과해야 하므로 라인의 순서는 고정되어 있습니다.

머신러닝에서의 위치레이어를 합성하는 것이 곧 행렬 곱셈입니다. 두 개의 선형 레이어를 쌓은 W₂(W₁x)는 (W₂W₁)x와 같으며, 두 레이어가 하나의 사상으로 합쳐집니다. 어텐션에서는 점수가 곱 QKᵀ에서 나오고, 출력은 그 가중치에 V를 곱해 얻습니다. 모든 순전파는 이런 곱이 이어진 사슬이며, 형태 규칙은 GPU가 빠르게 처리하도록 만들어진 바로 그 연산입니다.
▶ 행렬 곱셈
← 선형 사상으로서의 행렬전치 →