独立性

不确定性的数学

当知道一个事件不会告诉你另一个事件的任何信息时,这两个事件独立。知道第一枚硬币是正面,不会改变第二枚硬币为正面的概率。形式上,独立表示条件概率等于普通概率,P(A|B) = P(A),这可以整理成一个干净的检验:

因此对独立事件来说,二者同时发生的概率就是乘积。这就是为什么 n 次公平抛硬币全为正面的概率是 (1/2)ⁿ:这些抛掷之间互不交流。

一枚公平的硬币没有记忆:在连续五次正面朝上之后,下一次抛掷仍然是均等的 50/50,因为硬币无法记住它刚刚做了什么。这种“没有记忆”正是独立性,其中两次抛掷同时发生的几率是乘积 P(A ∩ B) = P(A) · P(B)。这也是为什么连续 n 次正面朝上具有 (1/2)ⁿ 的概率。

在机器学习中的应用当你在带标签数据集上训练时,几乎总是假设样本是 i.i.d.,即独立同分布。这个假设让整个数据集的联合似然分解成乘积 P(data) = Π P(xᵢ),再变成对数项之和(损失)。Naive Bayes 分类器更进一步,假设特征在给定类别时条件独立,把不可能处理的联合分布变成可处理的乘积。
▶ 独立性
← Bayes 定理随机变量 →