다중 선형 회귀 — 통계학 · Mathematics for Machine Learning

실제 예측은 입력을 하나만 쓰지 않고 여러 개를 사용합니다. 다중 선형 회귀는 직선을 더 높은 차원의 평면(또는 초평면)으로 일반화한 것으로, 각 특징마다 자기만의 계수를 갖습니다. 모든 데이터를 행렬 X에 쌓아 올리면 모델은 더없이 간결해집니다.

여기서 X는 n×d 설계 행렬(관측마다 한 행, 특징마다 한 열)이고, β는 계수 벡터, y는 출력입니다. OLS 해는 유명한 닫힌 형태로 주어집니다.

이 기하학은 머릿속에 그려 둘 만한 가치가 있습니다. 예측 벡터 Xβ̂는 X의 열 공간, 즉 특징 열들의 모든 조합으로 이루어진 집합 안에 속해야 합니다. OLS는 그 공간 안에서 예측이 y에 가장 가까운 점이 되도록 하는 β̂를 고릅니다. 기하학적으로 ŷ는 y를 열 공간에 직교 투영한 것이고, 잔차 y − ŷ는 그 공간에 수직입니다. 바로 이 수직성을 (XᵀX)⁻¹Xᵀ가 계산해 주는 것입니다.

머신러닝에서의 위치여러분은 지금 선형대수의 최소 제곱 문제를 보고 있는 것이며, 이는 열 공간에 투영한다는 바로 그 아이디어와 같습니다. 정규 방정식 공식은 더 큰 모델에서 경사 하강법이 근사하려는 대상의 닫힌 형태 조상입니다. XᵀX의 조건수가 나쁠 때(특징들이 거의 공선일 때) 역행렬이 폭발하는데, 이것이 바로 두 레슨 뒤에 다룰 릿지 회귀가 λI를 더해 해결하는 문제입니다.