모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
학습률은 경사 하강법의 걸음 크기입니다. 그래디언트는 손실이 가장 빠르게 커지는 방향을 알려 주고, 최적화기는 그 반대 방향으로 움직입니다. 학습률 η는 얼마나 멀리 움직일지를 정합니다.
너무 작으면 훈련이 기어가듯 느려집니다. 너무 크면 갱신이 유용한 영역을 훌쩍 뛰어넘어 튀거나 발산할 수 있습니다. 신비롭게 보이는 최적화 문제 대부분은 사실 걸음 크기 문제가 먼저입니다.
카약을 생각하면 이 트레이드오프가 보입니다. 작은 노젓기는 제어력은 유지하지만 전진은 느립니다. 큰 노젓기는 카약을 물길 밖으로 돌려 버릴 수 있고, 그러면 방향을 바로잡느라 힘을 낭비하게 됩니다. 학습률은 바로 그 노젓기의 크기입니다. 아래에서 직접 해 보세요. 시작점을 고른 다음, 실행할 때마다 η를 조금씩 키우면서 꾸준한 전진이 어떻게 지나침과 튀어오름으로 바뀌는지 지켜보세요.