모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
전체 배치 경사 하강법은 모든 훈련 예제를 써서 매 갱신을 계산합니다. 확률적 경사 하강법(SGD)은 정반대의 극단으로, 예제 딱 하나만 씁니다. 미니배치 경사 하강법은 그 사이 어딘가, 작은 배치를 써서 자리 잡고 있으며, 실제로 딥러닝을 돌아가게 하는 것은 바로 이 타협입니다.
미니배치 그래디언트는 전체 그래디언트에 대한 잡음 섞인 추정값입니다. 계산 비용이 더 저렴하고, 흔히 정확한 전체 그래디언트보다 더 유용합니다. 빠른 갱신을 여러 번 할 수 있게 해 주고, 그 잡음이 탐색에 도움이 될 수 있기 때문입니다.
시리얼 품질 검사도 같은 타협을 씁니다. 상자를 하나하나 다 열어 보면 정확하지만 느립니다. 상자 하나만 검사하면 잡음이 심합니다. 상자 한 트레이를 검사하면 빠르면서도 쓸모 있는 추정치를 얻습니다. 미니배치가 바로 그 트레이입니다. 아래 그림은 이 통계를 눈으로 보여 줍니다. 실행을 누르고, 표본이 늘어날수록 누적 평균이 어떻게 자리를 잡아 가는지 지켜보세요. 미니배치 그래디언트도 같은 종류의 대상입니다. 배치가 커질수록 안정되는 평균입니다.