모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
전체 배치 경사 하강법은 모든 훈련 예제를 써서 매 갱신을 계산합니다. 확률적 경사 하강법(SGD)은 정반대의 극단으로, 예제 딱 하나만 씁니다. 미니배치 경사 하강법은 그 사이 어딘가, 작은 배치를 써서 자리 잡고 있으며, 실제로 딥러닝을 돌아가게 하는 것은 바로 이 타협입니다.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 확률적 경사 하강법과 미니배치