모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
최적화기 진단이란 훈련 레시피를 바꾸기 전에 먼저 훈련 과정 자체를 읽어 내는 일입니다. 손실 곡선, 그래디언트 노름, 검증 곡선을 보면 문제가 걸음 크기, 데이터, 스케일, 과적합, 아니면 모델 자체의 진짜 한계 중 무엇인지 대개 알 수 있습니다.
이것은 추측이 아닙니다. 각 실패 패턴에는 전형적인 모양이 있습니다. 손실이 폭발하거나, 평평하게 멈춰 있거나, 잡음은 있지만 꾸준히 좋아지거나, 훈련 손실은 내려가는데 검증 손실은 올라가거나, 갑자기 NaN 값이 나타나는 식입니다.
수족관 검사 스트립이 좋은 그림을 보여 줍니다. 물이 뿌옇다고 해서 아무 화학 약품이나 마구 부어 넣지는 않습니다. 먼저 pH, 암모니아, 질산염을 검사한 다음, 실제로 나쁘게 나온 수치를 치료합니다. 최적화기 진단도 훈련에 대해 똑같이 합니다. 먼저 측정하고, 그 측정값이 가리키는 것을 바꾸는 것입니다. 아래 그림으로 눈을 길들여 보세요. 먼저 건강한 하강을 한 번 돌려 본 다음, η를 크게 키워서 불안정하게 튀는 패턴을 마음대로 재현해 보세요.