선형 근사 — 미적분학 II · Mathematics for Machine Learning

가까이서 보면 모든 매끄러운 곡면은 평평해 보입니다. 발밑의 지구가 평평하게 느껴지는 것과 같습니다. 선형 근사는 한 점 근처의 휘어진 함수를, 그 점에서 살짝 닿기만 하는 평평한 접평면으로 바꿔 놓는 것입니다. 그래디언트가 바로 그 평면의 기울기를 제공합니다.

말로 풀어 보면, 새 값 ≈ 옛 값 + 그래디언트와 내딛은 걸음의 내적입니다. 그 내적은 방향 도함수에 걸음의 길이를 곱한 것으로, f가 얼마나 변했는지에 대한 가장 좋은 선형 추정입니다.

비치볼 위에 작고 평평한 스티커를 누르면, 그것이 붙은 바로 그 자리에서 굽은 공이 완벽하게 평평해 보입니다. 선형 근사는 바로 그 스티커입니다: 한 점에서 표면과 맞닿으며 주변의 곡선을 대신하는 평평한 접평면입니다. 공을 가로질러 너무 멀리 돌아다니면 스티커가 표면에서 떨어져 나갑니다 — 예측이 빗나가게 됩니다.

머신러닝에서의 위치그래디언트 강하법의 한 걸음은 곧 선형 근사를 실제로 적용하는 것입니다. w ← w − η∇L로 갱신하는 것은, 손실의 변화가 선형 항 ∇L·δ로 잘 예측된다고 가정하는 것입니다. 걸음이 너무 크면 무시했던 곡률(‖δ‖² 항)이 되받아쳐서, 손실이 지나치게 튀거나 발산할 수 있습니다. 학습률 η는 곡면을 평평하게 취급해도 충분히 들어맞는 영역 안에 우리를 머무르게 해 줍니다.