从数据中进行推断、估计和决策
到目前为止,统计学主要关注的是平均值和渐近行为。集中不等式提出了一个更尖锐的、有限样本的问题:一个随机量落在远离其均值处的可能性有多大?它们给出的答案,正是机器学习之所以能够提供保证的数学支柱。
最基本的一个不等式只需要一个非负变量及其均值,那就是马尔可夫不等式:
它表明一个非负变量很难经常达到其平均值的许多倍。如果均值很小,那么大的取值必定是罕见的。这个结论虽然粗糙,但它几乎不需要任何前提条件。