엔트로피

불확실성의 수학

엔트로피는 불확실성을 측정합니다. 무작위 결과를 보고 평균적으로 얼마나 놀랄 것으로 기대되는가를 재는 것입니다. 공정한 동전은 가장 불확실하고, 양면이 같은 동전은 놀라움이 전혀 없습니다. 클로드 섀넌은 이를 하나의 숫자, 곧 기대 놀라움으로 바꾸었습니다. 여기서 희귀한 사건의 놀라움은 −log p(x)로, 희귀할수록 더 놀랍습니다.

log₂를 쓰면 엔트로피를 비트 단위로 잴 수 있는데, 이는 결과를 확정하는 데 필요한 예/아니오 질문의 평균 개수입니다. 엔트로피는 분포가 균일할 때 가장 큽니다(모든 결과가 똑같이 가능하므로 혼란이 최대입니다). 그리고 한 결과가 확실할 때 0이 됩니다(놀랄 일이 없습니다).

그림은 편향된 동전 하나의 엔트로피 H(p) = −p log₂ p − (1−p) log₂(1−p)를 보여 줍니다. p를 드래그해 보세요. 엔트로피는 p = 0.5에서 봉우리를 이루고(꽉 찬 1비트, 진짜 동전 던지기), 확실한 양 끝으로 갈수록 0으로 떨어집니다.

머신러닝에서의 위치엔트로피는 거의 모든 분류 손실의 뿌리입니다. 무손실 압축의 하한을 정하고, 표준 훈련 손실인 교차 엔트로피(다음 레슨)의 기준이 됩니다. 강화 학습과 탐색에서는 엔트로피 보너스를 목적 함수에 더해 정책이 너무 일찍 한쪽으로 무너지지 않도록 합니다. 엔트로피를 최대화한다는 것은 «불확실한 상태를 유지하며 탐색을 계속한다»는 뜻입니다. 결정 트리는 엔트로피를 가장 많이 줄이는 특징을 기준으로 분할합니다(정보 이득).
▶ 엔트로피
← 공분산과 상관교차 엔트로피 →