משפט בייס — הסתברות · Mathematics for Machine Learning

לעיתים קרובות אתה יודע כיוון אחד של הסתברות מותנית אבל רוצה את השני. בדיקה רפואית אומרת לך P(positive | disease), אבל המטופל רוצה את P(disease | positive). משפט בייס הוא הגשר שהופך הסתברות מותנית.

הוא נובע ישירות מהשיעור הקודם. כלל הכפל נותן את P(A∩B) בשתי דרכים, כ־P(A|B)P(B) וכ־P(B|A)P(A). השווה אותם וחלק ב־P(B). לשלושת החלקים יש שמות שתפגוש בכל מקום ב־ML: P(A) הוא הקודם (האמונה לפני הראיות), P(B|A) היא הנראוּת (עד כמה טוב A מסביר את הראיות), ו־P(A|B) הוא המאוחר (האמונה המעודכנת).

המכנה P(B) מחושב בדרך כלל על ידי פיצול על פני כל הדרכים שבהן B יכול לקרות, חוק ההסתברות הכוללת:

איפה זה ב־MLמשפט בייס הוא המנוע של ML הסתברותי. הסקה בייסיאנית מעדכנת התפלגות קודמת על הפרמטרים להתפלגות מאוחרת בהינתן הנתונים: P(θ | data) ∝ P(data | θ)·P(θ). אימון נראות־מרבית הוא המקרה הפרטי שבו הקודם שטוח, והוספת קודם היא בדיוק מה שעושה רגולריזציית L2 (קודם גאוסי על המשקלים). "החיזוי המאוחר" של רשת עצבית בייסיאנית כולו הוא הנוסחה הזו בקנה מידה גדול.