모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
경사 하강법은 둥근 손실 곡면과 길게 늘어난 손실 곡면에서 매우 다르게 움직입니다. 조건화는 바로 그 늘어남을 재는 척도입니다. 조건화가 나쁘면 최적화기는 지그재그로 움직입니다. 한 방향은 가파르고 다른 방향은 완만하기 때문입니다.
이차 손실에서는 헤세 행렬의 고윳값이 조건화를 좌우합니다. 조건수 κ는 가장 큰 곡률과 가장 작은 곡률의 비율입니다.
옆쪽 범퍼가 좁고 출구 통로가 길고 좁은 핀볼 기계를 생각해 보세요. 세게 치면 공은 좌우로 튕기면서도 앞으로는 아주 천천히만 나아갑니다. 조건화가 나쁠 때 경사 하강법도 똑같이 행동합니다. 가파른 방향으로는 튀고, 완만한 방향으로는 기어갑니다. 아래 그림이 바로 그 핀볼 기계입니다. κ를 슬라이드해서 그릇을 늘린 다음 하강을 실행해 보세요. 좁은 방향으로는 경로가 튕기고 긴 방향으로는 조금씩만 나아가는 모습이 보일 것입니다. (지금은 β를 0에 두세요. 그것은 모멘텀 레슨에서 주인공이 됩니다.)