Toán học của sự không chắc chắn
Entropy đo mức độ bất định: mức độ bất ngờ mà bạn kỳ vọng trước một kết quả ngẫu nhiên. Một đồng xu cân bằng có độ bất định tối đa; một đồng xu hai mặt giống hệt nhau thì chẳng có gì bất ngờ. Claude Shannon đã biến điều này thành một con số, mức bất ngờ kỳ vọng, trong đó mức bất ngờ của một sự kiện là −log p(x) (càng hiếm thì càng bất ngờ).
Dùng log₂ sẽ đo entropy theo bit, tức số câu hỏi có/không trung bình cần để xác định kết quả. Entropy lớn nhất khi phân phối là đều (mọi kết quả khả năng như nhau, độ bất định tối đa) và bằng không khi một kết quả là chắc chắn (không thể có bất ngờ).
Hình vẽ cho thấy entropy của một đồng xu thiên lệch với một tham số, H(p) = −p log₂ p − (1−p) log₂(1−p). Kéo p: entropy đạt đỉnh tại p = 0.5 (trọn 1 bit, một lần tung đồng xu thực sự) và giảm về 0 ở hai đầu.