大数定律
不确定性的数学
抛一枚公平硬币十次,你可能得到 7 次正面。抛一万次,正面比例会非常紧地贴近 0.5。这就是大数定律:随着你收集更多数据,样本均值会收敛到真实期望。
随机性不会消失,单个结果仍然不可预测,但许多结果的平均值会稳定下来。弱大数定律说这种收敛是“依概率收敛”:对任意容忍度,随着 n 增大,平均值偏离超过该容忍度的概率会趋向 0。
在图中点击 Run,逐次抛硬币,观察运行平均值一开始如何大幅摆动,然后逐渐靠近虚线标出的真实均值。样本越多,收敛越紧。
在机器学习中的应用大数定律让 mini-batch 训练有了合理性。真实梯度是整个数据分布上的期望;mini-batch 梯度是它的样本平均。根据大数定律,这个平均会近似真实梯度,并且 batch 越大越准确。机器学习中的每个 Monte Carlo 估计(期望奖励、ELBO 项、经验风险)都依赖这条定律来说明“样本平均 ≈ 真实期望”。
▶ 大数定律