Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
L'arresto anticipato (early stopping) usa le prestazioni di validazione per decidere quando fermare l'addestramento. Se la loss di validazione smette di migliorare abbastanza a lungo, si tiene il checkpoint migliore e ci si ferma. I progressi qui si contano in epoche: un'epoca è un intero passaggio sui dati di addestramento, e la validazione viene tipicamente controllata dopo ciascuna.
Questo è sia un risparmio di calcolo sia un regolarizzatore. Impedisce al modello di continuare ad adattarsi al training set dopo che le prestazioni di validazione hanno cominciato a peggiorare.
Un tostapane dà l'istinto giusto. Togliere il pane troppo presto lo lascia pallido. Aspettare troppo lo brucia. Osservi il pane tostato e ti fermi quando raggiunge il colore migliore, non quando la resistenza ha funzionato il più a lungo possibile. La figura sotto mostra da dove viene il dato che stai "osservando": si tiene da parte una porzione dei dati di addestramento, oppure si ruotano i fold come mostrato, così il modello viene giudicato su esempi che non ha mai adattato. L'arresto anticipato legge il suo segnale esattamente da quella porzione tenuta da parte.