אנטרופיה

המתמטיקה של אי־ודאות

אנטרופיה מודדת אי־ודאות: כמה הפתעה אתה מצפה לחוות מתוצאה אקראית. מטבע הוגן הוא בלתי־ודאי במידה המרבית; מטבע בעל שני צידי עץ אינו טומן בחובו שום הפתעה. קלוד שאנון הפך זאת למספר, ההפתעה הצפויה, שבו ההפתעה של אירוע נדיר היא −log p(x) (ככל שהאירוע נדיר יותר, כך הוא מפתיע יותר).

שימוש ב־log₂ מודד את האנטרופיה בביטים — מספר שאלות הכן/לא הממוצע הדרוש כדי לקבע את התוצאה. האנטרופיה מרבית כשההתפלגות אחידה (כל התוצאות שוות־הסתברות, אי־ודאות מרבית), ואפס כשתוצאה אחת ודאית (אין שום הפתעה אפשרית).

האיור מראה את האנטרופיה של מטבע מוטה יחיד, H(p) = −p log₂ p − (1−p) log₂(1−p). גרור את p: אנטרופיה מגיעה לשיא ב־p = 0.5 (1 ביט מלא, הטלת מטבע אמיתית) ויורדת ל־0 בקצוות הודאים.