불확실성의 수학
엔트로피는 불확실성을 측정합니다. 무작위 결과를 보고 평균적으로 얼마나 놀랄 것으로 기대되는가를 재는 것입니다. 공정한 동전은 가장 불확실하고, 양면이 같은 동전은 놀라움이 전혀 없습니다. 클로드 섀넌은 이를 하나의 숫자, 곧 기대 놀라움으로 바꾸었습니다. 여기서 희귀한 사건의 놀라움은 −log p(x)로, 희귀할수록 더 놀랍습니다.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 엔트로피