Teorema di Bayes

La matematica dell'incertezza

Spesso conosci una direzione di un condizionamento ma ti serve l'altra. Un test medico ti dà P(positive | disease), ma il paziente vuole P(disease | positive). Il teorema di Bayes è il ponte che inverte una probabilità condizionata.

Discende direttamente dalla lezione precedente. La regola della moltiplicazione esprime P(A∩B) in due modi, come P(A|B)P(B) e come P(B|A)P(A). Uguagliale e dividi per P(B). I tre termini hanno nomi che incontrerai ovunque nell'ML: P(A) è la prior (la credenza prima di vedere l'evidenza), P(B|A) è la likelihood (quanto bene A spiega l'evidenza) e P(A|B) è la posterior (la credenza aggiornata).

Il denominatore P(B) si calcola di solito sommando su tutti i modi in cui B può verificarsi, la legge della probabilità totale:

Dove si trova nel MLIl teorema di Bayes è il motore dell'ML probabilistico. L'inferenza Bayesiana aggiorna una prior sui parametri in una posterior dati i dati: P(θ | data) ∝ P(data | θ)·P(θ). L'addestramento a massima verosimiglianza è il caso speciale in cui la prior è piatta, e aggiungere una prior è esattamente ciò che fa la regolarizzazione L2 (una prior Gaussiana sui pesi). L'intera "posterior predictive" di…
▶ Teorema di Bayes
← Probabilità CondizionataIndipendenza →