不確実性の数学
エントロピーは不確実性を測る：ランダムな結果にどれくらい驚くと期待するか。公平なコインは最大限不確実で；両面が表のコインは驚きを全く持たない。クロード・シャノンはこれを数にした、期待驚きで、稀な事象の驚きは−log p(x)です（より稀はより驚きを意味する）。
log₂を使うとエントロピーをビットで測り、結果を特定するために必要なyes/no質問の平均数です。分布が一様のとき（すべての結果が等しくありそう、最大の混乱）エントロピーが最大で、1つの結果が確実なとき（驚きようがない）ゼロです。
図は単一の偏ったコインのエントロピーH(p) = −p log₂ p − (1−p) log₂(1−p)を示す。pをドラッグしてください：エントロピーはp = 0.5でピーク（1フルビット、genuine なコイン投げ）で確実な端で0に落ちる。