集中不等式(简述)

从数据中进行推断、估计和决策

到目前为止,统计学主要关注的是平均值和渐近行为。集中不等式提出了一个更尖锐的、有限样本的问题:一个随机量落在远离其均值处的可能性有多大?它们给出的答案,正是机器学习之所以能够提供保证的数学支柱。

最基本的一个不等式只需要一个非负变量及其均值,那就是马尔可夫不等式:

它表明一个非负变量很难经常达到其平均值的许多倍。如果均值很小,那么大的取值必定是罕见的。这个结论虽然粗糙,但它几乎不需要任何前提条件。

在机器学习中的应用霍夫丁界是泛化理论的核心:它解释了为什么一个模型在有限测试集上测得的误差,能以高概率被证明接近其真实误差,这正是信任测试分数的形式化依据。这也是 PAC 学习(“概率近似正确”,Probably Approximately Correct)的引擎:只要样本足够多,训练表现与真实表现之间的差距就以高概率很小。集中不等式把“更多数据有帮助”变成了一条定理。
▶ 集中不等式(简述)
← 期望最大化(EM)