Теорема Баєса — Ймовірність · Mathematics for Machine Learning

Часто ти знаєш один напрямок умовної ймовірності, а хочеш інший. Медичний тест дає P(positive | disease), але пацієнт хоче P(disease | positive). Теорема Баєса — міст, який перевертає умовну ймовірність.

Вона прямо випливає з попереднього уроку. Правило множення дає P(A∩B) двома способами: як P(A|B)P(B) і як P(B|A)P(A). Прирівняй їх і поділи на P(B). Три складові мають імена, які ти зустрінеш усюди в ML: P(A) — апріорна (переконання до свідчень), P(B|A) — правдоподібність (наскільки A пояснює свідчення), а P(A|B) — апостеріорна (оновлене переконання).

Нижній P(B) зазвичай обчислюється шляхом розбиття за всіма способами, якими B може відбутися, законом повної ймовірності:

Де це в MLТеорема Баєса — рушій ймовірнісного ML. Баєсівське висновування оновлює апріорний розподіл за параметрами в апостеріорний за даними: P(θ | data) ∝ P(data | θ)·P(θ). Навчання максимальною правдоподібністю — це окремий випадок, коли апріорна рівномірна, а додавання апріорної — саме те, що робить L2-регуляризація (гаусова апріорна на ваги). Усе «апостеріорне прогнозування» баєсової нейронної мережі…