Inferenza, stima e processo decisionale dai dati
Non puoi giudicare un modello dal suo errore di addestramento: ha già visto quei dati, quindi può barare memorizzandoli. Ti serve il suo errore su dati che non ha mai visto. Ma mettere da parte un singolo insieme di test spreca dati e dà una stima rumorosa. La validazione incrociata risolve entrambi i problemi.
Nella validazione incrociata k-fold dividi i dati in k fold uguali. Addestri su k−1 di essi, validi sul fold escluso e ruoti, così ogni fold funge da insieme di validazione esattamente una volta. Mediando i k errori di validazione ottieni una stima stabile di come il modello generalizza.
La cross-validazione è come sostenere diversi esami di pratica per prevedere il tuo punteggio nell'esame reale. Se ti valutassi solo su domande di cui hai già memorizzato le risposte, sovrastimeresti enormemente, quindi metti da parte un lotto nuovo di domande ogni volta, ti valuti su quelle, e fai ruotare quale lotto viene trattenuto. Fare la media dei tuoi punteggi attraverso tutte le sessioni di pratica fornisce una previsione molto più stabile di come andrai il giorno dell'esame rispetto a quanto farebbe un singolo esame di simulazione.