불확실성의 수학
엔트로피는 불확실성을 측정합니다. 무작위 결과를 보고 평균적으로 얼마나 놀랄 것으로 기대되는가를 재는 것입니다. 공정한 동전은 가장 불확실하고, 양면이 같은 동전은 놀라움이 전혀 없습니다. 클로드 섀넌은 이를 하나의 숫자, 곧 기대 놀라움으로 바꾸었습니다. 여기서 희귀한 사건의 놀라움은 −log p(x)로, 희귀할수록 더 놀랍습니다.
log₂를 쓰면 엔트로피를 비트 단위로 잴 수 있는데, 이는 결과를 확정하는 데 필요한 예/아니오 질문의 평균 개수입니다. 엔트로피는 분포가 균일할 때 가장 큽니다(모든 결과가 똑같이 가능하므로 혼란이 최대입니다). 그리고 한 결과가 확실할 때 0이 됩니다(놀랄 일이 없습니다).
그림은 편향된 동전 하나의 엔트로피 H(p) = −p log₂ p − (1−p) log₂(1−p)를 보여 줍니다. p를 드래그해 보세요. 엔트로피는 p = 0.5에서 봉우리를 이루고(꽉 찬 1비트, 진짜 동전 던지기), 확실한 양 끝으로 갈수록 0으로 떨어집니다.