Entropi

Matematika ketidakpastian

Entropi mengukur ketidakpastian: seberapa terkejut Anda mengharapkan dari hasil acak. Koin adil maksimal tidak pasti; koin dua-sisi tidak menahan kejutan sama sekali. Claude Shannon mengubah ini menjadi angka, kejutan ekspektasi, di mana kejutan kejadian langka adalah −log p(x) (lebih langka berarti lebih mengejutkan).

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.