Théorème de Bayes

Les mathématiques de l'incertitude

Souvent vous connaissez un sens d'une conditionnelle mais voulez l'autre. Un test médical vous dit P(positive | disease), mais le patient veut P(disease | positive). Le théorème de Bayes est le pont qui retourne une probabilité conditionnelle.

Il découle directement de la leçon précédente. La règle de multiplication donne P(A∩B) de deux façons, comme P(A|B)P(B) et comme P(B|A)P(A). Égalez-les et divisez par P(B). Les trois pièces portent des noms que vous rencontrerez partout en ML : P(A) est l'a priori (croyance avant preuve), P(B|A) est la vraisemblance (à quel point A explique la preuve), et P(A|B) est l'a posteriori (croyance mise à jour).

Le bas P(B) se calcule généralement en répartissant selon toutes les façons dont B peut se produire, la loi de probabilité totale :

Où cela apparaît en MLLe théorème de Bayes est le moteur du ML probabiliste. L'inférence bayésienne met à jour un a priori sur les paramètres en un a posteriori sachant les données : P(θ | data) ∝ P(data | θ)·P(θ). L'entraînement par maximum de vraisemblance est le cas spécial où l'a priori est plat, et ajouter un a priori est exactement ce que fait la régularisation L2 (un a priori gaussien sur les poids). Tout l'« a…
▶ Théorème de Bayes
← Probabilité ConditionnelleIndépendance →