모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
Adam은 두 아이디어를 결합합니다. 평균 그래디언트를 위한 모멘텀과, 평균 그래디언트 제곱을 위한 RMSProp 방식의 스케일링입니다. 그런 다음 이 이동평균들이 0에서 시작하기 때문에 생기는 초기 편향을 보정합니다.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Adam