Теорема Байеса — Вероятность

Часто вы знаете условную в одну сторону, но хотите в другую. Медицинский тест даёт P(positive | disease), а пациент хочет P(disease | positive). Теорема Байеса — мост, переворачивающий условную вероятность.

Следует прямо из прошлого урока. Правило умножения даёт P(A∩B) двумя путями: P(A|B)P(B) и P(B|A)P(A). Приравняйте и поделите на P(B). Три части имеют имена, с которыми вы встретитесь везде в ML: P(A) — априорная (вера до свидетельства), P(B|A) — правдоподобие (насколько хорошо A объясняет свидетельство), P(A|B) — апостериорная (обновлённая вера).

Нижнее P(B) обычно вычисляется разбиением по всем способам, как B может возникнуть, — закон полной вероятности:

Где это встречается в MLТеорема Байеса — двигатель вероятностного ML. Байесовский вывод обновляет априорное над параметрами в апостериорное по данным: P(θ | data) ∝ P(data | θ)·P(θ). Максимальное правдоподобие — частный случай с плоским априором, а добавление априора — в точности L2-регуляризация (гауссов априор на веса). Всё «апостериорное предсказание» байесовской нейросети — эта формула в масштабе.