랭크, 영공간, 열 공간

선형 사상, 벡터, 행렬의 기하학과 대수

행렬이 실제로 하는 일은 세 가지 양으로 포착됩니다. 열 공간은 Ax가 도달할 수 있는 모든 점, 즉 열들이 생성하는 공간이자 행렬의 «출력 영역»입니다. 랭크는 그 열 공간의 차원으로, A가 만들어 내는 진정으로 독립인 방향의 개수를 뜻합니다. 그리고 영공간은 A가 0으로 으깨 버리는 모든 벡터, 곧 Ax = 0을 만족하는 모든 x로 이루어집니다.

랜드마크를 사용하여 길을 안내한다고 상상해 보세요. "탑 쪽으로 가라"고 하고 "바로 옆에 있는 쌍둥이 탑 쪽으로 가라"고 한다면, 사실상 단 하나의 진짜 방향만 제시한 것입니다 — 두 번째는 새로운 것을 추가하지 않습니다. 랭크(rank) 는 행렬의 방향 중 이처럼 진정으로 독립적인 방향이 몇 개인지를 세는 것입니다; 전혀 움직임이 없는 상태로 붕괴되는 방향은 영공간(null space) 에 속합니다.

차원들은 깔끔한 균형을 이룹니다. 이것이 랭크–널리티 정리입니다. 입력 차원은 살아남는 방향(랭크)과 으깨지는 방향(널리티)으로 나뉩니다.

머신러닝에서의 위치랭크는 한 레이어의 진정한 표현력을 측정합니다. 가중치 행렬이 저랭크이면 중복된 뉴런(다른 뉴런들의 결합을 계산하는 여러 뉴런)을 가지므로 손실 없이 압축할 수 있습니다. 이것이 바로 LoRA의 핵심 원리입니다. 큰 가중치 업데이트를 저랭크 곱 BA로 대체하면, 유용한 업데이트가 몇 방향에만 존재하므로 훨씬 적은 매개변수만 학습하면 됩니다.
▶ 랭크, 영공간, 열 공간
← 가우스 소거법역행렬 →