Stelling van Bayes

De wiskunde van onzekerheid

Vaak ken je één richting van een voorwaardelijke kans maar wil je de andere. Een medische test vertelt je P(positive | disease), maar de patiënt wil P(disease | positive). De stelling van Bayes is de brug die een voorwaardelijke kans omdraait.

Hij volgt direct uit de vorige les. De vermenigvuldigingsregel geeft P(A∩B) op twee manieren, als P(A|B)P(B) en als P(B|A)P(A). Stel ze gelijk en deel door P(B). De drie stukken hebben namen die je overal in ML tegenkomt: P(A) is de prior (overtuiging vóór bewijs), P(B|A) is de aannemelijkheid (hoe goed A het bewijs verklaart), en P(A|B) is de posterior (bijgewerkte overtuiging).

De onderkant P(B) wordt meestal berekend door op te splitsen over alle manieren waarop B kan optreden, de wet van de totale kans:

Waar dit voorkomt in MLDe stelling van Bayes is de motor van probabilistische ML. Bayesiaanse inferentie werkt een prior over parameters bij tot een posterior gegeven data: P(θ | data) ∝ P(data | θ)·P(θ). Maximum-likelihood-training is het speciale geval waarin de prior vlak is, en het toevoegen van een prior is precies wat L2-regularisatie doet (een Gaussische prior op de gewichten). De hele "posterior-predictieve"…
▶ Stelling van Bayes
← Voorwaardelijke KansOnafhankelijkheid →