단순 선형 회귀는 통계에서 머신러닝으로 건너가는 다리입니다. 예측을 하는 가장 단순한 모델이지요. 입력 x와 출력 y의 관계가 직선에 무작위 잡음이 더해진 형태라고 가정하고, 가장 잘 맞는 직선을 찾습니다.
β₀는 절편, β₁은 기울기, ε은 잡음입니다. «가장 잘 맞는다»는 것은 점과 직선 사이의 수직 간격인 잔차를 제곱하여 모두 더한 값을 최소화하는 직선을 뜻하며, 이것이 바로 최소 제곱법(OLS)입니다.
그림에서 기울기와 절편을 드래그하면서 제곱 오차 합(SSE)이 어떻게 변하는지 살펴보세요. OLS 직선은 산호색 잔차 막대들의 제곱 길이 합을 최소로 만드는 유일한 직선입니다.
머신러닝에서의 위치선형 회귀는 모든 ML 프로젝트가 더 화려한 모델로 넘어가기 전에 먼저 이겨야 할 기준선입니다. 그 제곱 오차 목적 함수가 바로 여러분이 거듭거듭 최소화하게 될 회귀 손실(MSE)이며, (MLE에서 보았듯이) 가우시안 잡음 아래에서는 정확히 최대 가능도와 같습니다. 이 직선을 이해하면 모든 지도 학습 모델의 골격을 이해하게 됩니다.