모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
Adam과 AdamW는 가중치 감쇠를 다루는 방식이 다릅니다. Adam은 L2 벌점을 적응형 그래디언트 업데이트 안에 섞어 넣습니다. AdamW는 가중치 감쇠를 별도의 축소 단계로 적용합니다.
이 분리가 중요한 이유는 Adam이 파라미터마다 그래디언트를 다시 스케일링하기 때문입니다. 가중치 감쇠가 그 그래디언트 안에 섞여 들어가면, 정규화 역시 파라미터에 따라 다르게 다시 스케일링되어 버립니다.
책이 제때 반납되기를 바라는 도서관을 떠올려 보세요. 연체된 하루마다 똑같이 붙는 정액 벌금은 이해하기 쉽습니다. 모든 대출자에게 똑같은 방식으로 적용되기 때문입니다. 그 벌금을 각 대출자의 개인화된 회원 공식 안에 끼워 넣으면, 벌점이 들쭉날쭉해져서 예측하기 어려워집니다. AdamW는 분리된 정액 벌금이고, 결합된 L2를 쓰는 Adam은 벌점을 파라미터별 기계 장치 안에 먼저 끼워 넣는 쪽입니다. 그런데 애초에 왜 벌점을 매길까요? 그림이 답을 줍니다. 유연성이 커질수록 훈련 오차는 계속 낮아지지만, 검증 오차는 결국 다시 올라갑니다. 가중치 감쇠는 그 최적의 지점 근처에 머무르게 해 주는 주요 도구 중 하나입니다.