Bayes 定理
不確定性的數學
很多時候，你知道一個方向的條件機率，卻想要另一個方向。醫學檢測告訴你 P(positive | disease)，但病人想知道的是 P(disease | positive)。Bayes 定理就是把條件機率翻轉過來的橋梁。
它直接來自上一課。乘法規則給出 P(A∩B) 的兩種寫法：P(A|B)P(B) 和 P(B|A)P(A)。把它們設為相等，再除以 P(B)。這三個部分在機器學習中隨處可見：P(A) 是先驗（證據前的信念），P(B|A) 是概似度（A 對證據的解釋程度），P(A|B) 是後驗（更新後的信念）。
底部的 P(B) 通常通過把 B 發生的所有方式拆開來計算，也就是全機率公式：
在機器學習中的應用Bayes 定理是機率機器學習的引擎。Bayesian 推斷把參數上的先驗在看到資料後更新成後驗：P(θ | data) ∝ P(data | θ)·P(θ)。最大概似度訓練是先驗平坦的特殊情況，而加入先驗正是 L2 正則化所做的事（權重上的高斯先驗）。Bayesian 神經網路的整個「後驗預測」都是這個公式的大規模應用。
▶ Bayes 定理