Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Ранното спиране използва представянето върху валидационния набор, за да реши кога да спре обучението. Ако валидационната загуба спре да се подобрява достатъчно дълго, задържате най-добрата контролна точка и спирате. Тук напредъкът се брои в епохи: една епоха е едно пълно преминаване през тренировъчните данни, а валидацията обикновено се проверява след всяка от тях.
Това е едновременно спестяване на изчислителни ресурси и регуляризатор. То не позволява на модела да продължава да пасва на тренировъчния набор, след като представянето върху валидацията вече е започнало да се влошава.
Тостерът дава правилния инстинкт. Ако извадите хляба твърде рано, той остава блед. Ако чакате твърде дълго, той изгаря. Вие наблюдавате филийката и спирате, когато тя достигне най-добрия цвят, не когато нагревателният елемент е работил колкото се може по-дълго. Фигурата по-долу показва откъде идват данните за „наблюдение“: задръжте настрана част от тренировъчните данни или редувайте гънки, както е показано, така че моделът да бъде преценяван по примери, на които никога не е пасвал. Ранното спиране чете своя сигнал точно от този задържан отрязък.