Niezależność

Matematyka niepewności

Dwa zdarzenia są niezależne, gdy wiedza o jednym z nich nie mówi ci niczego nowego o drugim. Wiedza, że podczas pierwszego rzutu monetą wypadł orzeł, nie zmienia szans dla drugiego rzutu. Formalnie niezależność oznacza, że prawdopodobieństwo warunkowe zrównuje się ze zwykłym, P(A|B) = P(A), co można przekształcić w bardzo przejrzysty test:

Zatem w przypadku zdarzeń niezależnych, prawdopodobieństwo wystąpienia obu z nich to po prostu ich iloczyn. Dlatego wyrzucenie orła w n rzutach uczciwą monetą ma prawdopodobieństwo rzędu (1/2)ⁿ: rzuty te nie komunikują się ze sobą, więc wyniki są od siebie niezależne.

Uczciwa moneta nie ma pamięci: po pięciu orłach z rzędu, kolejny rzut to wciąż równe 50/50, ponieważ moneta nie może pamiętać tego, co przed chwilą zrobiła. Ten "brak pamięci" to dokładnie niezależność, gdzie szansa na oba rzuty łącznie jest iloczynem P(A ∩ B) = P(A) · P(B). To również powód, dla którego seria n orłów wiąże się z prawdopodobieństwem (1/2)ⁿ.

Gdzie to występuje w MLPodczas trenowania modelu na oznaczonym zbiorze danych, niemal zawsze zakłada się, że przykłady są i.i.d. (ang. independent and identically distributed), czyli niezależne i mają identyczny rozkład. To założenie pozwala na przekształcenie łącznego prawdopodobieństwa całego zbioru w iloczyn P(data) = Π P(xᵢ), co po zlogarytmowaniu daje sumę będącą w istocie funkcją straty. Naiwny klasyfikator…
▶ Niezależność
← Twierdzenie BayesaZmienne losowe →