모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
학습률 탐색기는 짧은 진단용 훈련입니다. 아주 작은 학습률에서 시작해 여러 미니배치에 걸쳐 서서히 키워 가면서, 손실이 어떻게 반응하는지 지켜봅니다.
여기서는 훈련을 끝까지 마치려는 것이 아닙니다. 손실이 불안정해지기 전에 모델이 학습을 시작하는 범위를 찾아내려는 것입니다.
카메라의 노출 브래키팅이 같은 발상을 씁니다. 너무 어두운 것부터 너무 밝은 것까지 일련의 사진을 찍은 다음, 디테일이 선명하게 보이는 범위를 고릅니다. 탐색기도 훈련 스텝에 대해 똑같이 합니다. η를 소심한 값에서 무모한 값까지 훑으면서, 학습이 또렷해지는 지점을 표시합니다. 아래 그림에서 수동으로 탐색기 역할을 직접 해 볼 수 있습니다. 작은 η로 실행하고, 조금 키워서 다시 실행하세요. 어느 지점에서 매끄럽던 하강이 오버슈팅과 튕김으로 바뀌는데, 그것이 바로 스윕이 찾는 폭발의 경계입니다.