Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Ранняя остановка использует качество на валидации, чтобы решить, когда прекратить обучение. Если валидационная потеря достаточно долго не улучшается, вы сохраняете лучшую контрольную точку и останавливаетесь. Прогресс здесь считается в эпохах: одна эпоха — это один полный проход по обучающим данным, и валидацию обычно проверяют после каждой из них.
Это одновременно экономит вычисления и служит регуляризатором. Она не даёт модели продолжать подгоняться под обучающий набор после того, как качество на валидации уже начало ухудшаться.
Тостер даёт правильную интуицию. Вынуть хлеб слишком рано — он останется бледным. Ждать слишком долго — он сгорит. Вы следите за тостом и останавливаетесь, когда он достигает лучшего цвета, а не когда нагревательный элемент проработал максимально долго. Фигура ниже показывает, откуда берутся «наблюдаемые» данные: отложите часть обучающих данных или чередуйте блоки, как показано, так чтобы модель оценивалась на примерах, которые она никогда не подгоняла. Ранняя остановка считывает свой сигнал именно с этого отложенного среза.