Bayes 定理
不确定性的数学
很多时候，你知道一个方向的条件概率，却想要另一个方向。医学检测告诉你 P(positive | disease)，但病人想知道的是 P(disease | positive)。Bayes 定理就是把条件概率翻转过来的桥梁。
它直接来自上一课。乘法规则给出 P(A∩B) 的两种写法：P(A|B)P(B) 和 P(B|A)P(A)。把它们设为相等，再除以 P(B)。这三个部分在机器学习中随处可见：P(A) 是先验（证据前的信念），P(B|A) 是似然（A 对证据的解释程度），P(A|B) 是后验（更新后的信念）。
底部的 P(B) 通常通过把 B 发生的所有方式拆开来计算，也就是全概率公式：
在机器学习中的应用Bayes 定理是概率机器学习的引擎。Bayesian 推断把参数上的先验在看到数据后更新成后验：P(θ | data) ∝ P(data | θ)·P(θ)。最大似然训练是先验平坦的特殊情况，而加入先验正是 L2 正则化所做的事（权重上的高斯先验）。Bayesian 神经网络的整个“后验预测”都是这个公式的大规模应用。
▶ Bayes 定理