Математиката на несигурността
Ентропията измерва несигурността: колко изненадани очаквате да бъдете от даден случаен резултат. Правилната монета създава максимална несигурност; монета с две езита не носи никаква изненада. Клод Шанън превръща това в число – очаквана изненада, където изненадата от рядко събитие е −log p(x) (по-рядко означава по-изненадващо).
Използването на log₂ измерва ентропията в битове – средният брой въпроси с да/не, необходими за отгатване на резултата. Ентропията е най-голяма, когато разпределението е равномерно (всички изходи са еднакво вероятни, максимално объркване) и нула, когато един изход е сигурен (няма изненада).
Фигурата показва ентропията на несиметрична монета, H(p) = −p log₂ p − (1−p) log₂(1−p). При плъзгане на p: ентропията достига своя пик при p = 0.5 (1 пълен бит, хвърляне на правилна монета) и спада до 0 в сигурните краища.