Ентропія

Математика невизначеності

Ентропія вимірює невизначеність: наскільки ти очікуєш бути здивованим випадковим результатом. Чесна монета максимально невизначена; двоголова монета взагалі не дивує. Клод Шеннон перетворив це на число, очікуваний сюрприз, де сюрприз рідкісної події — −log p(x) (рідше — дивніше).

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Ентропія
← Коваріація та кореляціяКрос-ентропія →