אנטרופיה צולבת

המתמטיקה של אי־ודאות

נניח שהאמת היא התפלגות p, אך אתה מקודד את התוצאות בעזרת מודל אחר q. אנטרופיה צולבת היא ההפתעה הממוצעת שאתה משלם בפועל: ההפתעה נמדדת לפי המודל q, אבל ממוצעת לפי תדירות ההתרחשות האמיתית של האירועים תחת p:

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.