Die Mathematik der Unsicherheit
Entropie misst Unsicherheit: wie überrascht man von einem zufälligen Ergebnis zu sein erwartet. Eine faire Münze ist maximal unsicher; eine Münze mit zwei Kopfseiten birgt überhaupt keine Überraschung. Claude Shannon goss das in eine Zahl, die erwartete Überraschung, wobei die Überraschung eines seltenen Ereignisses −log p(x) beträgt (seltener heißt überraschender).
Mit log₂ misst man die Entropie in Bit, der durchschnittlichen Anzahl an Ja/Nein-Fragen, die nötig sind, um das Ergebnis einzugrenzen. Die Entropie ist am größten, wenn die Verteilung gleichmäßig ist (jedes Ergebnis gleich wahrscheinlich, maximale Verwirrung), und null, wenn ein Ergebnis sicher ist (keine Überraschung möglich).
Die Abbildung zeigt die Entropie eines einzelnen verzerrten Münzwurfs, H(p) = −p log₂ p − (1−p) log₂(1−p). Ziehe an p: Die Entropie erreicht ihr Maximum bei p = 0.5 (1 volles Bit, ein echter Münzwurf) und fällt an den sicheren Enden auf 0.