모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
Adam은 두 아이디어를 결합합니다. 평균 그래디언트를 위한 모멘텀과, 평균 그래디언트 제곱을 위한 RMSProp 방식의 스케일링입니다. 그런 다음 이 이동평균들이 0에서 시작하기 때문에 생기는 초기 편향을 보정합니다.
이 조합 덕분에 Adam은 딥러닝에서 흔한 첫 선택지가 됩니다. 특히 그래디언트가 잡음이 많고 파라미터들의 규모가 크게 다를 때 그렇습니다.
자동조종장치는 계기 두 개를 동시에 사용할 수 있습니다. 하나는 비행기가 평균적으로 흘러가는 방향을 보여 주고, 다른 하나는 그 방향이 얼마나 요동쳤는지를 보여 줍니다. Adam도 같은 아이디어를 씁니다. 지속적인 흐름을 따라 움직이되, 최근의 요동에 맞춰 그 움직임의 크기를 조절하는 것입니다. 그림에서는 Adam의 모멘텀 절반을 직접 볼 수 있습니다. β를 올리면 튕김이 잦아듭니다. Adam은 여기에 한 가지 요령을 더 얹습니다. 각 좌표의 걸음을 그 좌표 자신의 최근 그래디언트 규모로 나누는 것입니다.