모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
최적화기 실험실은 통제된 조건 아래에서 최적화기들을 비교합니다. 같은 모델, 데이터, 배치 크기, 스케줄 예산, 시드 계획으로 실행한 다음, 최적화기나 최적화기 설정 하나만 바꿉니다.
이런 통제가 없다면 최적화기 비교는 그저 이야기가 되어 버립니다. 더 빨랐던 훈련이 실은 더 나은 학습률을 썼거나, 다른 스케줄을 썼거나, 운 좋은 시드를 썼을 수도 있습니다.
경주용 트랙의 테스트 데이 규칙이 이와 같습니다. 두 자동차를 비교하려면 트랙, 타이어, 연료량, 날씨를 최대한 통제된 상태로 유지합니다. 그렇지 않으면 자동차가 더 빨랐던 것인지, 조건이 더 쉬웠던 것인지 알 수 없습니다. 아래 그림은 축소판 실험대입니다. 매 실행마다 같은 늘어난 곡면 위에서, η, β, κ를 변수로 씁니다. 정확히 하나만 바꾸고, 실행하고, 경로를 비교하세요. 이것이 바로 이 레슨 전체의 원칙을 위젯 하나에 담은 것입니다.