Matematyka niepewności
Entropia mierzy niepewność: jak bardzo spodziewasz się być zaskoczony losowym wynikiem. Uczciwa moneta jest maksymalnie niepewna; moneta z dwoma orłami nie holdzi żadnego zaskoczenia. Claude Shannon zamienił to w liczbę, oczekiwane zaskoczenie, gdzie zaskoczenie rzadkiego zdarzenia to −log p(x) (rzadsze = bardziej zaskakujące).
Using log₂ measures entropy in bits, the average number of yes/no questions needed to pin down the outcome. Entropy is largest when the distribution is uniform (every outcome equally likely, maximum confusion) and zero when one outcome is certain (no surprise possible).
The figure shows the entropy of a single biased coin, H(p) = −p log₂ p − (1−p) log₂(1−p). Drag p: entropy peaks at p = 0.5 (1 full bit, a genuine coin flip) and drops to 0 at the certain ends.