Entropie

Die Mathematik der Unsicherheit

Entropie misst Unsicherheit: wie überrascht man von einem zufälligen Ergebnis zu sein erwartet. Eine faire Münze ist maximal unsicher; eine Münze mit zwei Kopfseiten birgt überhaupt keine Überraschung. Claude Shannon goss das in eine Zahl, die erwartete Überraschung, wobei die Überraschung eines seltenen Ereignisses −log p(x) beträgt (seltener heißt überraschender).

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Entropie
← Kovarianz & KorrelationCross-Entropy →