Matematika ketidakpastian
Entropi mengukur ketidakpastian: seberapa terkejut Anda mengharapkan dari hasil acak. Koin adil maksimal tidak pasti; koin dua-sisi tidak menahan kejutan sama sekali. Claude Shannon mengubah ini menjadi angka, kejutan ekspektasi, di mana kejutan kejadian langka adalah −log p(x) (lebih langka berarti lebih mengejutkan).
Menggunakan log₂ mengukur entropi dalam bit, rata-rata jumlah pertanyaan ya/tidak yang dibutuhkan untuk menentukan hasil. Entropi terbesar saat distribusi uniform (setiap hasil sama mungkin, kebingungan maksimal) dan nol saat satu hasil pasti (tidak ada kejutan mungkin).
Gambar menunjukkan entropi koin bias tunggal, H(p) = −p log₂ p − (1−p) log₂(1−p). Seret p: entropi memuncak di p = 0.5 (1 bit penuh, lempar koin asli) dan turun ke 0 di ujung pasti.