Независимость — Вероятность · Mathematics for Machine Learning

Два события независимы, когда знание одного ничего не говорит о другом. Узнав, что первая монета выпала орлом, вы не меняете шансы для второй. Формально, независимость значит, что условная вероятность равна обычной, P(A|B) = P(A), что переставляется в чистый тест:

Так для независимых событий вероятность, что оба случатся — просто произведение. Поэтому n честных бросков монеты все орлом имеют вероятность (1/2)ⁿ: броски не общаются.

У честной монеты нет памяти: после пяти орлов подряд следующий бросок по-прежнему имеет равные шансы 50/50, потому что монета не может помнить, что она только что сделала. Это «отсутствие памяти» и есть независимость, где вероятность обоих бросков вместе равна произведению P(A ∩ B) = P(A) · P(B). Именно поэтому серия из n орлов имеет вероятность (1/2)ⁿ.

Где это встречается в MLОбучаясь на размеченном датасете, вы почти всегда предполагаете примеры i.i.d. — независимые и одинаково распределённые. Это позволяет совместному правдоподобию факторизоваться в произведение P(data) = Π P(xᵢ), становящееся суммой лог-членов (потеря). Наивные байесовские классификаторы идут дальше и предполагают признаки условно независимы при данном классе, превращая невозможное совместное в…