선형 독립과 기저

선형 사상, 벡터, 행렬의 기하학과 대수

벡터들의 집합이 선형 독립이라는 것은, 그중 어느 하나도 나머지의 결합으로 표현되지 않는다는 뜻입니다. 각 벡터가 정말로 새로운 방향을 끌어오며, 어느 것도 군더더기가 아닙니다. 반대로 어느 하나라도 나머지의 결합으로 쓸 수 있다면, 그 집합은 종속이며 군더더기를 품고 있는 것입니다.

깔끔한 판정법은 이렇습니다. 결합으로 영벡터를 만드는 방법이 모든 가중치를 0으로 두는 것뿐이어야 합니다.

최소한의 레고 도구 모음을 생각해보세요. 모든 블록이 다른 블록으로 만들 수 없는 모양을 추가할 때 빌딩 블록 세트는 선형적으로 independent 합니다 — 어떤 것도 redundant 하지 않습니다. 한 블록이 실제로 다른 블록 두 개를 함께 맞춘 것이라면 그것은 불필요한 짐이며, 조립 가능한 모양을 하나도 잃지 않고 버릴 수 있습니다. 기저(basis)는 여전히 모든 것을 만들 수 있는 가장 군더더기 없는 키트입니다.

머신러닝에서의 위치이것이 바로 랭크의 의미입니다. 행렬이 실제로 사용하는 독립적인 방향의 개수죠. 가중치 행렬의 행들이 종속이면 일부 뉴런은 군더더기입니다. 다른 뉴런들의 결합을 계산할 뿐 표현력을 더하지 못합니다. 낮은 랭크는 압축할 수 있는 레이어를 뜻하며(이것이 LoRA의 발상입니다), 풀 랭크인 임베딩 테이블은 모든 특성 방향이 정말로 서로 구별됨을 뜻합니다.
▶ 선형 독립과 기저
← 선형 결합과 생성선형 사상으로서의 행렬 →