偏差-方差分解

从数据中进行推断、估计和决策

为什么一个能完美拟合训练数据的模型在新数据上却常常失败？偏差-方差分解给出了精确而定量的答案。它把模型的期望预测误差拆成三部分，其中两部分朝相反的方向拉扯。

偏差²是来自错误假设的误差：模型太简单，无法刻画真相（欠拟合）。方差是来自对特定训练样本敏感的误差：模型太灵活，以至于记住了噪声（过拟合）。噪声是不可约的：数据中任何模型都无法消除的随机性。

在图中滑动复杂度。随着模型变得更复杂，偏差²（绿色）下降，但方差（珊瑚色）上升。总测试误差（黑色）是二者之和再加上噪声底线：一条U 形曲线，其最低点就是最优复杂度。