모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
정규화는 흔히 손실에 더해지는 벌점으로 소개됩니다. 기하학적으로는, 어떤 파라미터 벡터가 «저렴»하고 어떤 것이 «비싼»지를 바꿉니다. 그것이 최적화 문제의 형태 자체를 바꾸는 것입니다. 아래에서 두 기호가 반복해서 나옵니다. R(θ)는 벌점 항을 가리키고, λ(람다)는 그것이 얼마나 강하게 반영되는지를 정합니다.
가장 흔한 두 벌점은 서로 다르게 행동합니다. L2는 큰 가중치를 부드럽게 억누르는 반면, L1은 모서리를 가지고 있어서 일부 가중치를 정확히 0으로 몰아붙일 수 있습니다.
무게 제한이 엄격한 여행 가방을 꾸리는 일도 같은 모양을 갖습니다. 물건 하나하나는 도움이 될 수 있지만, 무거운 물건은 예산을 금세 써 버립니다. 정규화는 큰 파라미터를 선택하면 예산을 쓰게 만들므로, 모델은 그것이 충분히 도움이 될 때만 큰 파라미터를 유지합니다. 그림은 그 예산이 왜 가치가 있는지를 보여 줍니다. 모델의 유연성이 커질수록 훈련 오차는 계속 줄어들지만, 검증 오차는 결국 다시 올라갑니다. 정규화는 그 반전이 오기 전에 유연성을 고삐 채워 두는 손잡이입니다.