Inferencia, estimación y toma de decisiones a partir de datos
No puedes juzgar un modelo por su error de entrenamiento; ya ha visto esos datos, así que puede hacer trampa memorizando. Necesitas su error en datos que nunca ha visto. Pero mantener aparte un conjunto de prueba único desperdicia datos y da una estimación ruidosa. Validación cruzada resuelve ambos problemas.
En validación cruzada k-fold, divide los datos en k partes iguales. Entrena con k−1 de ellas, valida en la que se mantiene aparte, y rota para que cada parte sirva como conjunto de validación exactamente una vez. Promedia los k errores de validación para obtener una estimación estable de cómo el modelo generaliza.
La validación cruzada es como presentar varios exámenes de práctica para predecir tu puntaje en el examen real. Si solo te calificaras en preguntas de las que ya memorizaste las respuestas, sobrestimarías salvajemente, así que reservas un lote nuevo de preguntas cada vez, te calificas en esas y rotas qué lote se retiene. Promediar tus puntajes en todas las sesiones de práctica da un pronóstico mucho más estable de cómo te irá ese día que cualquier examen simulado individual.