A matemática da incerteza
A entropia mede a incerteza: o grau de surpresa que esperamos sentir diante de um resultado aleatório. Uma moeda justa é maximamente incerta; uma moeda com duas caras não guarda surpresa nenhuma. Claude Shannon converteu essa ideia num número, a surpresa esperada, em que a surpresa de um evento raro é −log p(x) (quanto mais raro, mais surpreendente).
Usar log₂ mede a entropia em bits, o número médio de perguntas de sim/não necessárias para determinar o resultado. A entropia é máxima quando a distribuição é uniforme (todos os resultados igualmente prováveis, confusão máxima) e nula quando um resultado é certo (nenhuma surpresa possível).
A figura mostra a entropia de uma única moeda enviesada, H(p) = −p log₂ p − (1−p) log₂(1−p). Arraste p: a entropia atinge o máximo em p = 0.5 (1 bit completo, um verdadeiro lançamento de moeda) e cai para 0 nos extremos certos.