Onafhankelijkheid

De wiskunde van onzekerheid

Twee gebeurtenissen zijn onafhankelijk wanneer kennis van de ene je niets vertelt over de andere. Leren dat de eerste munt op kop landde verschuift de kansen voor de tweede niet. Formeel betekent onafhankelijkheid dat de voorwaardelijke kans gelijk is aan de gewone, P(A|B) = P(A), wat herschikt tot een nette toets:

Dus voor onafhankelijke gebeurtenissen is de kans dat beide gebeuren gewoon het product. Daarom heeft n eerlijke muntworpen die allemaal op kop landen een kans van (1/2)ⁿ: de worpen praten niet met elkaar.

Een eerlijke munt heeft geen geheugen: na vijf keer kop achter elkaar, is de volgende worp nog steeds een gelijke 50/50, omdat de munt zich niet kan herinneren wat hij zojuist deed. Dat "geen geheugen" is exact onafhankelijkheid, waarbij de kans op beide worpen samen het product P(A ∩ B) = P(A) · P(B) is. Het is ook waarom een reeks van n keren kop een kans (1/2)ⁿ met zich meebrengt.

Waar dit voorkomt in MLWanneer je traint op een gelabelde dataset, neem je bijna altijd aan dat de voorbeelden i.i.d. zijn, onafhankelijk en identiek verdeeld. Die aanname laat een gezamenlijke aannemelijkheid over de dataset ontbinden in een product P(data) = Π P(xᵢ), dat een som van log-termen wordt (de verliesfunctie). Naïeve-Bayes-classifiers gaan verder en nemen aan dat kenmerken voorwaardelijk onafhankelijk zijn…
▶ Onafhankelijkheid
← Stelling van BayesStochastische Variabelen →