Теорема на Бейс — Вероятност · Mathematics for Machine Learning

Често знаете условната вероятност в едната посока, но искате да намерите другата. Един медицински тест ви дава P(positive | disease), но пациентът се интересува от P(disease | positive). Теоремата на Бейс е мостът, който обръща условната вероятност.

Тя произлиза директно от предишния урок. Правилото за умножение дава P(A∩B) по два начина: като P(A|B)P(B) и като P(B|A)P(A). Приравнете ги и разделете на P(B). Трите компонента имат имена, които ще срещате навсякъде в машинното обучение: P(A) е априорна вероятност или приор (убеждението преди доказателствата), P(B|A) е правдоподобие или likelihood (колко добре А обяснява доказателствата), а P(A|B) е апостериорна вероятност или постериор (актуализираното убеждение).

Знаменателят P(B) обикновено се изчислява чрез разбиване на всички начини, по които B може да се реализира, използвайки закона за пълната вероятност:

Къде се използва това в MLТеоремата на Бейс е двигателят на вероятностното машинно обучение. Бейсовият извод (Bayesian inference) актуализира априорните вероятности на параметрите до апостериорни въз основа на данните: P(θ | data) ∝ P(data | θ)·P(θ). Обучението с максимално правдоподобие (Maximum Likelihood) е специален случай, при който приорът е равномерен (плосък), а добавянето на приор е точно това, което прави L2…