Inference, estimation, and decision-making from data
Eğitim verisine kusursuz uyan bir model neden çoğu zaman yeni veride başarısız olur? Yanlılık–varyans ayrışımı bunun kesin, niceliksel yanıtını verir. Bir modelin beklenen tahmin hatasını üç parçaya böler ve bunlardan ikisi birbirine ters yönde çeker.
Yanlılık², yanlış varsayımlardan kaynaklanan hatadır: gerçeği yakalayamayacak kadar basit bir model (yetersiz uyum). Varyans, belirli eğitim örneğine karşı duyarlılıktan kaynaklanan hatadır: gürültüyü ezberleyecek kadar esnek bir model (aşırı uyum). Gürültü indirgenemezdir: hiçbir modelin asla kaldıramayacağı, verideki rastgelelik.
Şekilde karmaşıklığı kaydırın. Model karmaşıklaştıkça yanlılık² (yeşil) düşer ama varyans (mercan) yükselir. Toplam test hatası (siyah) bunların toplamı artı gürültü tabanıdır: en alt noktası en iyi karmaşıklık olan bir U biçimi.