La matematica dell'incertezza
L'entropia misura l'incertezza: quanto ti aspetti di essere sorpreso da un esito casuale. Una moneta equa è massimamente incerta; una moneta con due teste non ha alcuna sorpresa. Claude Shannon ha trasformato questo in un numero, la sorpresa attesa, dove la sorpresa di un evento raro è −log p(x) (più raro, più sorprendente).
Usando log₂ si misura l'entropia in bit, il numero medio di domande sì/no necessarie per fissare l'esito. L'entropia è massima quando la distribuzione è uniforme (ogni esito ugualmente probabile, massima confusione) e zero quando un esito è certo (nessuna sorpresa possibile).
La figura mostra l'entropia di una singola moneta truccata, H(p) = −p log₂ p − (1−p) log₂(1−p). Trascina p: l'entropia picca a p = 0.5 (1 bit intero, un vero lancio di moneta) e scende a 0 alle estremità certe.