Inférence, estimation et prise de décision à partir des données
Vous ne pouvez pas juger un modèle par son erreur d'entraînement ; il a déjà vu ces données, donc il peut tricher en mémorisant. Vous avez besoin de son erreur sur des données qu'il n'a jamais vues. Mais garder de côté un seul jeu de test gaspille des données et donne une estimation bruitée. La validation croisée résout les deux problèmes.
En validation croisée k-fold, découpez les données en k plis égaux. Entraînez sur k−1 d'entre eux, validez sur le pli mis de côté, et faites tourner pour que chaque pli serve de jeu de validation exactement une fois. Moyennez les k erreurs de validation pour une estimation stable de la façon dont le modèle généralise.
La validation croisée, c'est comme passer plusieurs examens blancs pour prédire votre vrai score d'examen. Si vous ne vous notiez que sur des questions dont vous aviez déjà mémorisé les réponses, vous vous surestimeriez follement, alors vous mettez de côté un nouveau lot de questions à chaque fois, vous vous notez sur celles-ci, et vous faites tourner le lot qui est retenu. Faire la moyenne de vos scores sur tous les examens blancs donne une prévision beaucoup plus stable de la façon dont vous vous débrouillerez le jour J que n'importe quel examen blanc unique.