Las matemáticas de la incertidumbre
La entropía mide la incertidumbre: cuán sorprendido te esperas estar con un resultado aleatorio. Una moneda justa es máximamente incierta; una moneda de dos caras no tiene ninguna sorpresa. Claude Shannon convirtió esto en un número, la sorpresa esperada, donde la sorpresa por un evento raro es −log p(x) (más raro significa más sorprendente).
Usando log₂ medidas de entropía en bits, el número promedio de preguntas sí/no necesarias para determinar el resultado. La entropía es máxima cuando la distribución es uniforme (cada resultado tiene igual probabilidad, confusión máxima) y cero cuando un resultado es cierto (no hay sorpresa posible).
La figura muestra la entropía de una moneda sesgada, H(p) = −p log₂ p − (1−p) log₂(1−p). Arrastra p: la entropía alcanza su punto máximo en p = 0.5 (1 bit completo, un verdadero lanzamiento de moneda) y baja a 0 en los extremos ciertos.