모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
하이퍼파라미터란 학습되는 파라미터 바깥에서 정해지는 훈련상의 선택들입니다. 학습률, 배치 크기, 가중치 감쇠, 워밍업 길이, 드롭아웃, 모델의 너비 등 여러 가지가 있습니다.
하이퍼파라미터 탐색은 스스로를 속이지 않으면서 여러 설정을 시도해 보는 과정입니다. 목표는 운 좋은 실행 하나를 찾는 것이 아닙니다. 목표는 검증 데이터에서 신뢰성 있게 작동하는 설정을 찾는 것입니다.
페인트 색상 견본 카드가 탐색이라는 발상을 구체적으로 보여 줍니다. 가능한 색깔 하나하나마다 방 전체를 다시 칠하지는 않습니다. 체계적으로 구성한 견본들을 시험해 범위를 좁힌 다음, 가장 유망한 색조들을 알맞은 조명 아래에서 시험합니다. 하이퍼파라미터 탐색도 훈련 선택지를 같은 방식으로 좁혀 갑니다. 아래 그림은 각 견본에 점수를 매기는 장치를 보여 줍니다. 검증 폴드를 돌려 가면서, 후보 설정마다 한 번도 훈련한 적 없는 데이터로 평가받게 하는 것입니다. 그 정직한 채점이야말로 탐색을 운 좋은 실행과 구별해 주는 것입니다.