모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
고정된 학습률이 훈련 전체에 걸쳐 최선인 경우는 드뭅니다. 훈련 초반에는 파라미터가 쓸모 있는 설정에서 멀리 떨어져 있으므로 더 큰 움직임을 감당할 수 있습니다. 훈련 후반에는 흔히 자리를 잡기 위해 더 작은 움직임이 필요합니다.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 스케줄과 워밍업