모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
손실 지형은 파라미터 공간 위에서 L(θ)가 이루는 형태입니다. 신경망에서는 이 지형이 고차원이고 비볼록입니다. 넓고 평평하게 뻗은 지대, 날카롭게 휘어진 지대, 어떤 방향으로는 오르고 다른 방향으로는 내려가는 안장점, 그리고 서로 떨어져 있는 것처럼 보이지만 흔히 알고 보면 이어져 있는 여러 개의 낮은 손실 영역이 있습니다.
진짜 지형을 직접 시각화할 수는 없지만, 국소 기하는 추론할 수 있습니다. 그래디언트, 곡률, 잡음, 그리고 서로 다른 최적화기들이 그 안을 어떻게 지나가는지가 그것입니다.
강한 바람이 지나간 사구 지대에는 넓고 평평한 자리, 날카로운 능선, 그리고 한 방향에서 보면 평평해 보이지만 다른 방향에서 보면 기울어진 길들이 있습니다. 손실 지형도 같은 문제를 갖습니다. 국소적인 모양이 방향에 따라 달라진다는 것입니다. 아래 그림에서 그중 가장 중요한 모양을 직접 만들어 볼 수 있습니다. 두 곡률을 슬라이드해서 하나는 양수, 다른 하나는 음수가 되게 해 보세요. 그것이 바로 안장입니다. 한 직선을 따라서는 평평하고 다른 직선을 따라서는 기울어져 있으며, 고차원 지형을 지배하는 임계점의 전형입니다.