Независимост

Математиката на несигурността

Две събития са независими, когато познаването на едното не ви дава никаква информация за другото. Знанието, че на първата монета се е паднало ези, не променя шансовете за втората. Формално независимостта означава, че условната вероятност е равна на безусловната, P(A|B) = P(A), което се свежда до следния ясен критерий:

Следователно за независими събития вероятността да се случат и двете е просто тяхното произведение. Ето защо вероятността при n хвърляния на правилна монета да се паднат само ези е (1/2)ⁿ: хвърлянията не си влияят едно на друго.

Честна монета няма памет: след пет ези поред, следващото хвърляне все още е равно 50/50, защото монетата не може да помни какво току-що е направила. Това „липса на памет“ е точно независимост, при която шансът за двете хвърляния заедно е произведението P(A ∩ B) = P(A) · P(B). Това е и причината поредица от n ези да носи вероятност (1/2)ⁿ.

Къде се използва това в MLКогато тренирате модел върху етикетиран набор от данни, почти винаги приемате, че примерите са i.i.d. – независими и еднакво разпределени. Това допускане позволява съвместната вероятност върху целия набор от данни да се факторизира като произведение P(data) = Π P(xᵢ), което после се превръща в сума от логаритмични членове (функцията на загубата). Наивните Бейсови класификатори (Naive Bayes)…
▶ Независимост
← Теорема на БейсСлучайни величини →