특수 행렬

선형 사상, 벡터, 행렬의 기하학과 대수

몇몇 행렬은 너무 자주, 그것도 아주 깔끔한 기하학과 함께 등장해서 저마다 이름을 얻었습니다. 이들을 한눈에 알아보면 수고를 크게 덜 수 있습니다.

단위 행렬 I는 대각선에 1이, 나머지 자리에 0이 놓인 행렬입니다. «아무것도 하지 않는» 사상으로, 모든 벡터에 대해 Ix = x입니다. 대각 행렬은 대각선에만 0이 아닌 성분을 가지며, 각 축을 따로따로 늘입니다. 성분 dᵢ가 i번째 좌표를 스케일할 뿐, 좌표끼리 섞지는 않습니다.

사운드 믹싱 보드를 생각해보세요. 항등 행렬(identity matrix) I 는 모든 슬라이더가 1 에 주차된 상태입니다: 신호가 전혀 건드려지지 않고 통과하며, 정확히 "아무것도 하지 않음" 입니다. 대각 행렬(diagonal matrix) 은 독립적인 볼륨 슬라이더의 집합입니다 — 각 슬라이더는 채널이 다른 채널로 번지는 일 없이 단일 채널을 자체적으로 증폭하거나 줄입니다.

머신러닝에서의 위치직교 사상은 신호를 알맞은 크기로 유지해 줍니다. 직교 가중치 초기화는 레이어를 길이 보존 사상으로 출발시켜, 활성화와 그래디언트가 여러 레이어를 지나면서 폭발하지도 소멸하지도 않게 합니다. 대각 행렬은 배치 정규화에서 특성별 스케일로 나타나고, 단위 행렬은 잔차 연결 x + f(x)의 근간을 이룹니다. 그래디언트가 곧장 흘러가게 해 주는 «아무것도 하지 않는» 경로인 것입니다.
▶ 특수 행렬
← 전치Ax = b: 기하학 →