모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
고정된 학습률이 훈련 전체에 걸쳐 최선인 경우는 드뭅니다. 훈련 초반에는 파라미터가 쓸모 있는 설정에서 멀리 떨어져 있으므로 더 큰 움직임을 감당할 수 있습니다. 훈련 후반에는 흔히 자리를 잡기 위해 더 작은 움직임이 필요합니다.
스케줄은 시간에 따라 η를 바꿉니다. 워밍업은 작은 학습률로 시작해서, 본 스케줄이 시작되기 전까지 그것을 점진적으로 키웁니다.
연을 띄울 때 줄을 단번에 팽팽하게 당기지는 않습니다. 연이 떠오르게 두고 바람을 느낀 다음, 안정될수록 줄을 조절해 갑니다. 워밍업은 바로 그 부드러운 발사입니다. 이후의 스케줄은 연이 날아오른 뒤 줄을 다루는 방식입니다.