不确定性的数学
熵测量不确定性：你预计会被随机结果“惊讶”多少。公平硬币的不确定性最大；双面都是正面的硬币完全没有惊喜。Claude Shannon 把这变成了一个数字，即期望惊讶度，其中罕见事件的惊讶度是 −log p(x)（越罕见越惊讶）。
使用 log₂ 时，熵的单位是 bits，也就是平均需要多少个是/否问题才能确定结果。分布均匀时（每个结果同样可能，最大混乱）熵最大；当某个结果确定发生时（没有任何惊喜）熵为零。
图中显示一枚有偏硬币的熵，H(p) = −p log₂ p − (1−p) log₂(1−p)。拖动 p：熵在 p = 0.5 时达到峰值（完整的 1 bit，真正的硬币抛掷），并在确定的两端降为 0。