Satz von Bayes

Die Mathematik der Unsicherheit

Oft kennt man die eine Richtung einer bedingten Wahrscheinlichkeit, möchte aber die andere. Ein medizinischer Test liefert P(positive | disease), doch der Patient möchte P(disease | positive) wissen. Der Satz von Bayes ist die Brücke, die eine bedingte Wahrscheinlichkeit umkehrt.

Er ergibt sich direkt aus der letzten Lektion. Die Multiplikationsregel liefert P(A∩B) auf zwei Arten: als P(A|B)P(B) und als P(B|A)P(A). Setzt man beide gleich und teilt durch P(B), erhält man den Satz. Die drei Bestandteile tragen Namen, denen Sie im ML überall begegnen werden: P(A) ist der Prior (die A-priori-Annahme vor jeder Evidenz), P(B|A) ist die Likelihood (wie gut A die Evidenz erklärt) und P(A|B) ist der Posterior (die aktualisierte Annahme).

Den Nenner P(B) berechnet man üblicherweise, indem man ihn über alle Möglichkeiten aufspaltet, auf die B eintreten kann, also über das Gesetz der totalen Wahrscheinlichkeit:

Wo das im ML vorkommtDer Satz von Bayes ist das Herzstück des probabilistischen ML. Die bayessche Inferenz aktualisiert einen Prior über die Parameter zu einem Posterior, gegeben die Daten: P(θ | data) ∝ P(data | θ)·P(θ). Das Maximum-Likelihood-Training ist der Spezialfall, in dem der Prior flach ist; einen Prior hinzuzufügen bewirkt genau das, was die L2-Regularisierung tut (ein gaußscher Prior auf den Gewichten).…
▶ Satz von Bayes
← Bedingte WahrscheinlichkeitUnabhängigkeit →