אי־תלות

המתמטיקה של אי־ודאות

שני מאורעות בלתי־תלויים כשידיעת אחד אינה אומרת דבר על השני. הידיעה שהמטבע הראשון נפל על עץ אינה מזיזה את הסיכויים לשני. באופן פורמלי, אי־תלות אומרת שההסתברות המותנית שווה לרגילה, P(A|B) = P(A), וזה מסתדר מחדש למבחן נקי:

כך שלמאורעות בלתי־תלויים, ההסתברות ששניהם יקרו היא פשוט המכפלה. לכן ההסתברות ש־n הטלות של מטבע הוגן ייפלו כולן על עץ היא (1/2)ⁿ: ההטלות אינן מדברות זו עם זו.

למטבע הוגן אין זיכרון: אחרי חמש פעמים עץ ברצף, ההטלה הבאה היא עדיין 50/50 שווה, מכיוון שהמטבע אינו יכול לזכור מה הוא עשה זה עתה. ה"חוסר זיכרון" הזה הוא בדיוק אי-תלות, שבו הסיכוי של שתי ההטלות יחד הוא המכפלה P(A ∩ B) = P(A) · P(B). זו גם הסיבה שרצף של n פעמים עץ נושא הסתברות של (1/2)ⁿ.

איפה זה ב־MLכשמאמנים על מערך נתונים מתויג, כמעט תמיד מניחים שהדוגמאות i.i.d., בלתי־תלויות וזהות בהתפלגות. ההנחה הזו מאפשרת להתפלגות משותפת על מערך הנתונים להתפרק למכפלה P(data) = Π P(xᵢ), שהופכת לסכום איברי־לוג (ההפסד). מסווגי Naive Bayes הולכים רחוק יותר ומניחים שתכונות מותנות בלתי־תלויות בהינתן המחלקה, הופכים התפלגות משותפת בלתי־אפשרית למכפלה פתירה.
▶ אי־תלות
← משפט בייסמשתנים מקריים →