Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Wczesne zatrzymanie wykorzystuje wyniki walidacji, by zdecydować, kiedy zakończyć trening. Jeśli strata walidacyjna przestaje się poprawiać na wystarczająco długo, zachowujesz najlepszy punkt kontrolny i się zatrzymujesz. Postęp liczony jest tu w epokach: jedna epoka to jedno pełne przejście przez dane treningowe, a walidacja jest zwykle sprawdzana po każdej z nich.
To zarazem oszczędność mocy obliczeniowej i regularyzator. Zapobiega dalszemu dopasowywaniu się modelu do zbioru treningowego po tym, jak wyniki walidacji zaczęły się pogarszać.
Właściwy instynkt daje toster. Wyjęcie pieczywa zbyt wcześnie zostawia je blade. Zbyt długie czekanie je przypala. Obserwujesz tost i zatrzymujesz się, gdy osiągnie najlepszy kolor, a nie wtedy, gdy grzałka działała maksymalnie długo. Poniższy rysunek pokazuje, skąd bierze się dana „obserwacyjna”: odłóż część danych treningowych na bok albo rotuj podziały, jak pokazano, tak by model był oceniany na przykładach, których nigdy nie dopasowywał. Wczesne zatrzymanie czerpie swój sygnał dokładnie z tego odłożonego wycinka.