모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
B로 표기하는 배치 크기는 그래디언트 추정치의 잡음을 바꿉니다. 작은 배치는 잡음은 많지만 저렴한 추정치를 줍니다. 큰 배치는 더 안정된 추정치를 주지만, 업데이트 한 번에 드는 비용이 커집니다.
배치 크기가 바뀌면 최적의 학습률도 흔히 함께 바뀝니다. 큰 배치는 때로 더 큰 학습률을 쓸 수 있지만, 대개 워밍업과 신중한 검증이 필요합니다.
출구 조사도 같은 방식으로 작동합니다. 유권자 다섯 명에게 물으면 잡음 많은 추측이 나옵니다. 유권자 오천 명에게 물으면 더 안정된 추정치가 나오지만, 그만큼 일이 더 많습니다. 배치 크기는 그래디언트를 위한 조사 표본 크기입니다. 그림이 보여 주는 것이 정확히 그 안정화 효과입니다. 실행을 눌러 동전 던지기의 누적 평균이 n이 커질수록 안정되는 모습을 지켜보세요. 동전을 개별 예제의 그래디언트로, n을 B로 바꾸면, 배치 크기의 이야기 전체가 됩니다.