Matematyka niepewności
Często znamy prawdopodobieństwo warunkowe w jednym kierunku, ale potrzebujemy odwrotnego. Test medyczny określa na przykład P(positive | disease), ale pacjent chce poznać P(disease | positive). Twierdzenie Bayesa to narzędzie, które pozwala odwrócić to prawdopodobieństwo.
Wynika ono wprost z poprzedniej lekcji. Reguła mnożenia opisuje P(A∩B) na dwa sposoby: jako P(A|B)P(B) oraz jako P(B|A)P(A). Wystarczy je do siebie przyrównać i podzielić przez P(B). Trzy główne elementy tego wzoru mają nazwy, na które natkniesz się wszędzie w uczeniu maszynowym: P(A) to prawdopodobieństwo a priori (prior) (przekonanie przed zobaczeniem dowodów), P(B|A) to wiarygodność (likelihood) (jak dobrze A tłumaczy zaobserwowane dowody), a P(A|B) to prawdopodobieństwo a posteriori (posterior) (nasze nowe, zaktualizowane przekonanie).
Dolne P(B) zazwyczaj oblicza się, rozbijając zdarzenie na wszystkie przypadki, w których B może mieć miejsce. Mówi o tym twierdzenie o prawdopodobieństwie całkowitym: