Independensi

Matematika ketidakpastian

Dua kejadian independen saat mengetahui satu tidak memberi tahu apa-apa tentang yang lain. Mengetahui koin pertama mendarat head tidak menggeser peluang untuk yang kedua. Secara formal, independensi berarti probabilitas bersyarat sama dengan yang polos, P(A|B) = P(A), yang disusun ulang menjadi ujian bersih:

Jadi untuk kejadian independen, probabilitas bahwa keduanya terjadi sekadar produknya. Inilah mengapa n lempar koin adil semua mendarat head punya probabilitas (1/2)ⁿ: lemparan tidak berbicara satu sama lain.

Sebuah koin yang adil tidak memiliki memori: setelah lima gambar berturut-turut, lemparan berikutnya masih tetap 50/50, karena koin tersebut tidak dapat mengingat apa yang baru saja dilakukannya. "Tanpa memori" itu adalah ketepatan dari independensi, di mana peluang kedua lemparan secara bersama-sama adalah perkalian P(A ∩ B) = P(A) · P(B). Itu juga mengapa serangkaian n gambar membawa probabilitas (1/2)ⁿ.

Di mana ini berlaku dalam MLSaat Anda melatih pada dataset berlabel, Anda hampir selalu berasumsi contoh i.i.d., independen dan identik terdistribusi. Asumsi itu membiarkan likelihood gabungan atas dataset difaktorkan menjadi produk P(data) = Π P(xᵢ), yang menjadi jumlah suku-log (loss). Klasifier Naive Bayes lebih jauh dan berasumsi fitur bersyarat independen diberikan kelas, mengubah gabungan mustahil menjadi produk…
▶ Independensi
← Teorema BayesVariabel Acak →