조건수와 지그재그

모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지

경사 하강법은 둥근 손실 곡면과 길게 늘어난 손실 곡면에서 매우 다르게 움직입니다. 조건화는 바로 그 늘어남을 재는 척도입니다. 조건화가 나쁘면 최적화기는 지그재그로 움직입니다. 한 방향은 가파르고 다른 방향은 완만하기 때문입니다.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.