De wiskunde van onzekerheid
Entropie meet onzekerheid: hoe verrast je verwacht te zijn door een willekeurige uitkomst. Een eerlijke munt is maximaal onzeker; een munt met twee koppen bevat geen enkele verrassing. Claude Shannon maakte hier een getal van, de verwachte verrassing, waarbij de verrassing van een zeldzame gebeurtenis −log p(x) is (zeldzamer betekent verrassender).
Het gebruik van log₂ meet entropie in bits, het gemiddelde aantal ja/nee-vragen dat nodig is om de uitkomst vast te pinnen. Entropie is het grootst wanneer de verdeling uniform is (elke uitkomst even waarschijnlijk, maximale verwarring) en nul wanneer één uitkomst zeker is (geen verrassing mogelijk).
De figuur toont de entropie van een enkele scheve munt, H(p) = −p log₂ p − (1−p) log₂(1−p). Sleep p: de entropie piekt bij p = 0.5 (1 volle bit, een echte muntworp) en daalt naar 0 aan de zekere uiteinden.