バイアス・分散分解

データからの推論、推定、意思決定

なぜ訓練データに完璧にフィットするモデルが新しいデータでよく失敗するのか？バイアス・分散分解が正確で定量的な答えを与える。モデルの期待予測誤差を3つのピースに分割し、そのうち2つが逆方向に引く。

バイアス²は間違った仮定からの誤差です：真実を捉えるには単純すぎるモデル（過小適合）。分散は特定の訓練標本への感度からの誤差です：ノイズを暗記するほど柔軟なモデル（過学習）。ノイズは還元不能です：どのモデルも決して除去できないデータのランダム性。

図で複雑さをスライドする。モデルがより複雑になるにつれ、バイアス²（緑）は下がるが分散（珊瑚）は上がる。総テスト誤差（黒）はそれらの和プラスノイズの床です：U字型で底が最適な複雑さ。