Unabhängigkeit

Die Mathematik der Unsicherheit

Zwei Ereignisse sind unabhängig, wenn das Wissen um eines dem anderen nichts über die Wahrscheinlichkeit verrät. Wenn man erfährt, dass die erste Münze Kopf zeigt, ändert sich dies nicht für die zweite. Formal bedeutet Unabhängigkeit, dass die bedingte Wahrscheinlichkeit gleich der einfachen ist, P(A|B) = P(A), was zu einem sauberen Test umgeformt wird:

Bei unabhängigen Ereignissen ist die Wahrscheinlichkeit, dass beide eintreten, also einfach das Produkt. Deshalb beträgt die Wahrscheinlichkeit, dass n faire Münzwürfe alle Kopf zeigen, gerade (1/2)ⁿ: Die Würfe beeinflussen sich gegenseitig nicht.

Eine faire Münze hat kein Gedächtnis: Nach fünfmal Kopf in Folge ist der nächste Wurf immer noch ein ausgeglichenes 50/50, weil die Münze sich nicht daran erinnern kann, was sie gerade getan hat. Dieses "kein Gedächtnis" ist exakt Unabhängigkeit, bei der die Wahrscheinlichkeit beider Würfe zusammen das Produkt P(A ∩ B) = P(A) · P(B) ist. Es ist auch der Grund, warum eine Serie von n-mal Kopf die Wahrscheinlichkeit (1/2)ⁿ trägt.

Wo das im ML vorkommtWenn Sie auf einem gelabelten Datensatz trainieren, nehmen Sie fast immer an, dass die Beispiele i.i.d. sind, also unabhängig und identisch verteilt. Diese Annahme erlaubt es, eine gemeinsame Likelihood über den Datensatz in ein Produkt zu faktorisieren, P(data) = Π P(xᵢ), das sich (über den Logarithmus) in eine Summe verwandelt — den Verlust. Naive-Bayes-Klassifikatoren gehen noch weiter und…
▶ Unabhängigkeit
← Satz von BayesZufallsvariablen →