모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
그래디언트 클리핑은 업데이트가 얼마나 커질 수 있는지를 제한합니다. 어떤 배치가 거대한 그래디언트를 만들어 내면, 클리핑은 최적화기 스텝 전에 그것을 줄여 놓습니다.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.