선형 사상, 벡터, 행렬의 기하학과 대수
Ax = b에 정확한 해가 없을 때(매개변수보다 데이터가 많은 흔한 경우), 차선책을 택합니다. Ax를 b에 가능한 한 가깝게 만드는 x를 찾는 것입니다. 여기서 «가깝다»는 제곱 오차가 가장 작다는 뜻입니다. 이것이 최소제곱법이며, 일반적인 회귀의 바탕에 깔린 방법입니다.
기하학이 모든 것을 말해 줍니다. 도달 가능한 출력 Ax는 A의 열 공간을 이루는데, 이는 더 높은 차원의 공간 안에 놓인 평면입니다. 목표점 b는 보통 그 평면 바깥에 떠 있습니다. 도달 가능한 가장 가까운 점은 그 평면 위로 내린 b의 직교 투영입니다. b에서 수직선을 곧장 내려 닿는 곳이 바로 Ax입니다.
그림에서 b를 직선 밖으로 옮겨 보세요. 투영(최적합)이 항상 그 바로 아래에 머물도록 미끄러지고, 오차는 언제나 수직임을 볼 수 있습니다.