エントロピー

不確実性の数学

エントロピーは不確実性を測る：ランダムな結果にどれくらい驚くと期待するか。公平なコインは最大限不確実で；両面が表のコインは驚きを全く持たない。クロード・シャノンはこれを数にした、期待驚きで、稀な事象の驚きは−log p(x)です（より稀はより驚きを意味する）。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.