Inferência, estimação e tomada de decisão a partir de dados
Não podes avaliar um modelo pelo seu erro de treino; como ele já viu esses dados, pode aldrabar memorizando-os. É preciso conhecer o seu erro em dados que nunca viu. Mas reservar um único conjunto de teste desperdiça dados e dá uma estimativa ruidosa. A validação cruzada resolve ambos os problemas.
Na validação cruzada de k partes (k-fold), divides os dados em k partes iguais. Treinas em k−1 delas, validas na parte reservada e percorres tudo de modo que cada parte sirva de conjunto de validação exatamente uma vez. A média dos k erros de validação dá uma estimativa estável de como o modelo generaliza.
A validação cruzada é como fazer vários exames de preparação para prever a sua nota no exame real. Se apenas se avaliasse em perguntas das quais já memorizou as respostas, iria sobrestimar imensamente o seu resultado, então põe de parte um conjunto novo de perguntas de cada vez, pontua-se nelas e roda qual o conjunto que fica de reserva. Fazer a média das suas pontuações em todas as sessões de prática dá uma previsão muito mais fiável de como se sairá no grande dia do que qualquer exame simulado único daria.