Inferenz, Schätzung und Entscheidungsfindung aus Daten
Warum versagt ein Modell, das die Trainingsdaten perfekt anpasst, oft bei neuen Daten? Die Bias-Varianz-Zerlegung liefert die exakte, quantitative Antwort. Sie zerlegt den erwarteten Vorhersagefehler eines Modells in drei Teile, von denen zwei in entgegengesetzte Richtungen ziehen.
Bias² ist der Fehler aus falschen Annahmen: ein Modell, das zu einfach ist, um die Wahrheit zu erfassen (Underfitting). Varianz ist der Fehler aus der Empfindlichkeit gegenüber der konkreten Trainingsstichprobe: ein Modell, das so flexibel ist, dass es das Rauschen auswendig lernt (Overfitting). Rauschen ist nicht reduzierbar: Zufälligkeit in den Daten, die kein Modell je beseitigen kann.
Verschieben Sie die Komplexität in der Grafik. Je komplexer das Modell wird, desto stärker fällt Bias² (grün), während die Varianz (korallenfarben) ansteigt. Der gesamte Testfehler (schwarz) ist ihre Summe plus der nicht reduzierbare Rauschsockel: eine U-Kurve, deren Tiefpunkt die optimale Komplexität markiert.