Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
L'arrêt anticipé utilise la performance de validation pour décider quand arrêter l'entraînement. Si la perte de validation cesse de s'améliorer suffisamment longtemps, vous conservez le meilleur checkpoint et vous arrêtez. La progression se compte ici en époques : une époque est un passage complet à travers les données d'entraînement, et la validation est généralement vérifiée après chacune d'elles.
C'est à la fois une économie de calcul et un régularisateur. Cela empêche le modèle de continuer à ajuster l'ensemble d'entraînement après que la performance de validation a commencé à se dégrader.
Un grille-pain donne le bon instinct. Retirer le pain trop tôt le laisse pâle. Attendre trop longtemps le brûle. Vous surveillez la tranche et vous arrêtez quand elle atteint la meilleure couleur, pas quand la résistance a fonctionné aussi longtemps que possible. La figure ci-dessous montre d'où viennent les données de « surveillance » : mettez de côté une partie des données d'entraînement, ou faites tourner des plis comme illustré, de sorte que le modèle soit jugé sur des exemples qu'il n'a jamais ajustés. L'arrêt anticipé lit son signal exactement dans cette tranche mise de côté.