Inferência, estimação e tomada de decisão a partir de dados
Você não pode avaliar um modelo pelo seu erro de treino; como ele já viu esses dados, pode trapacear memorizando-os. É preciso conhecer o seu erro em dados que nunca viu. Mas reservar um único conjunto de teste desperdiça dados e dá uma estimativa ruidosa. A validação cruzada resolve ambos os problemas.
Na validação cruzada de k partições (k-fold), você divide os dados em k partições iguais. Treina em k−1 delas, valida na partição reservada e roda de modo que cada partição sirva de conjunto de validação exatamente uma vez. A média dos k erros de validação dá uma estimativa estável de como o modelo generaliza.
A validação cruzada é como fazer vários exames práticos para prever sua pontuação real no exame. Se você apenas se avaliasse em questões cujas respostas já memorizou, você superestimaria descontroladamente, então você separa um lote novo de questões a cada vez, avalia-se nelas, e alterna qual lote é retido. Fazer a média de suas pontuações em todas as sessões práticas dá uma previsão muito mais estável de como você se sairá no dia do que qualquer simulado único daria.