Inferencia, estimación y toma de decisiones a partir de datos
¿Por qué un modelo que se ajusta perfectamente a los datos de entrenamiento suele fallar en nuevos datos? La descomposición bias-variance proporciona la respuesta exacta y cuantitativa. Divide el error esperado de predicción del modelo en tres partes, y dos de ellas tiran en direcciones opuestas.
Bias² es el error por malas suposiciones: un modelo demasiado simple para capturar la verdad (subajuste). Variance es el error por sensibilidad al conjunto de entrenamiento particular: un modelo tan flexible que memoriza ruido (sobreajuste). Noise es irreducible: aleatoriedad en los datos que ningún modelo puede eliminar.
Deslizar la complejidad en la figura. A medida que el modelo se vuelve más complejo, Bias² (verde) cae pero Variance (coral) sube. El error de prueba total (negro) es su suma más el piso del ruido: una forma U cuyo fondo es la complejidad óptima.