התפלגויות בדידות מרכזיות — הסתברות

כמה התפלגויות בעלות שם מכסות את רוב המקרים הבדידים ב־ML. כל אחת היא PMF מוכן מראש עם ממוצע ושונות ידועים, כך שבוחרים את המתאימה במקום לגזור מאפס.

Bernoulli(p) ממדל ניסוי אחד עם שתי תוצאות: הצלחה (1) בהסתברות p, כישלון (0) בהסתברות 1−p. זה אבן הבניין שממנו כל התפלגות בדידה אחרת בנויה.

שתי ספירות יומיומיות מציגות את ההתפלגויות המרכזיות. הטילו מטבע 10 פעמים וספרו את הפעמים שיצא עץ: ספירה זו היא בינומית, סכום של 10 ניסויי כן/לא בלתי תלויים. עכשיו ספרו את שיחות הטלפון ששולחן תמיכה מקבל בשעה אחת: ספירה זו היא פואסונית, החוק לאירועים נדירים המפוזרים על פני זמן, עם קצב יחיד λ שמשמש גם בתור הממוצע שלו וגם בתור השונות שלו.

איפה זה ב־MLכשבוחרים פונקציית הפסד לסיווג, באמת בוחרים אחת מההתפלגויות האלה. אנטרופיה צולבת בינארית היא הלוג־נראות־השלילית של ברנולי: היא מנקדת הסתברות יחידה של מודל מול תווית 0/1. אנטרופיה צולבת מרובת־מחלקות היא הלוג־נראות־השלילית של Categorical, פלט softmax מנוקד מול תווית one-hot. ההפסד שבוחרים מקודד איזו התפלגות מניחים שהתוויות עוקבות אחריה.