Les mathématiques de l'incertitude
L'entropie mesure l'incertitude : à quel point vous vous attendez à être surpris par un résultat aléatoire. Une pièce équilibrée est maximalement incertaine ; une pièce à deux faces ne réserve aucune surprise. Claude Shannon a transformé cela en un nombre, la surprise espérée, où la surprise d'un événement rare est −log p(x) (plus rare = plus surprenant).
Utiliser log₂ mesure l'entropie en bits, le nombre moyen de questions oui/non nécessaires pour clouer le résultat. L'entropie est maximale quand la distribution est uniforme (chaque résultat également probable, confusion maximale) et nulle quand un résultat est certain (aucune surprise possible).
La figure montre l'entropie d'une seule pièce biaisée, H(p) = −p log₂ p − (1−p) log₂(1−p). Faites glisser p : l'entropie culmine à p = 0.5 (1 bit complet, un vrai tir à pile ou face) et tombe à 0 aux extrémités certaines.