אנטרופיה צולבת

המתמטיקה של אי־ודאות

נניח שהאמת היא התפלגות p, אך אתה מקודד את התוצאות בעזרת מודל אחר q. אנטרופיה צולבת היא ההפתעה הממוצעת שאתה משלם בפועל: ההפתעה נמדדת לפי המודל q, אבל ממוצעת לפי תדירות ההתרחשות האמיתית של האירועים תחת p:

היא מתפצלת לשני רכיבים בעלי משמעות: אנטרופיית האמת הבלתי־נמנעת, ובתוספת קנס על השימוש במודל הלא־נכון, הוא התבדרות KL (השיעור הבא):

מאחר ש־H(p) נקבע על ידי הנתונים, מזעור האנטרופיה הצולבת על פני המודל זהה למזעור התבדרות KL, ובכך דוחף את q לעבר p. האנטרופיה הצולבת היא תמיד לפחות H(p), עם שוויון רק כאשר q = p.