모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
조기 종료는 검증 성능을 이용해 언제 훈련을 멈출지 결정합니다. 검증 손실이 충분히 오랫동안 나아지지 않으면, 가장 좋았던 체크포인트를 남겨 두고 멈춥니다. 여기서 진행 정도는 에포크 단위로 셉니다. 한 에포크는 훈련 데이터 전체를 한 번 다 훑는 것이며, 보통 매 에포크가 끝날 때마다 검증을 확인합니다.
이것은 연산을 절약해 주는 동시에 정규화 역할도 합니다. 검증 성능이 나빠지기 시작한 뒤에도 모델이 계속 훈련 세트에 맞춰지는 것을 막아 줍니다.
토스터가 올바른 직관을 줍니다. 빵을 너무 일찍 꺼내면 색이 옅게 남고, 너무 오래 기다리면 타 버립니다. 발열체가 최대한 오래 작동할 때까지가 아니라, 빵이 가장 좋은 색을 낼 때 지켜보다가 멈춥니다. 아래 그림은 그 "지켜보는" 데이터가 어디서 오는지 보여 줍니다. 훈련 데이터의 일부를 따로 떼어 두거나, 그림처럼 폴드를 돌려 가면서, 모델이 한 번도 맞춘 적 없는 예시로 평가받게 하는 것입니다. 조기 종료는 바로 그 남겨 둔 조각에서 신호를 읽어 옵니다.