独立性

不確実性の数学

2つの事象が独立なのは、一方を知っても他方について何も教えないときです。最初のコインが表だったと知っても2番目の確率は変わらない。形式的には、独立性は条件付き確率が普通の確率に等しいことを意味し、P(A|B) = P(A)で、きれいなテストに並べ替えられる:

だから独立な事象について、両方が起きる確率は単に積です。これがn回の公平なコイン投げがすべて表になる確率が(1/2)ⁿである理由:投げは互いに影響しない。

公平なコインには記憶がありません。5回連続で表が出た後でも、次のトスは依然として五分五分の50/50です。なぜなら、コインは自分がたった今何をしたか覚えていないからです。その「記憶がないこと」こそが独立性であり、そこでは両方のトスが共に起こる確率は積P(A ∩ B) = P(A) · P(B)となります。これが、n回連続の表が(1/2)ⁿの確率を持つ理由でもあります。

機械学習における位置づけラベル付きデータセットで訓練するとき、例がi.i.d.、独立かつ同一分布に従うとほぼ常に仮定する。その仮定がデータセットにわたる同時尤度を積P(data) = Π P(xᵢ)に分解することを可能にし、それが対数項の和(損失)になる。ナイーブベイズ分類器はさらに進み、特徴がクラスが与えられた下で条件付き独立と仮定し、不可能な同時を扱える積に変える。
▶ 独立性
← ベイズの定理確率変数 →