एन्ट्रॉपी

अनिश्चितता का गणित

एन्ट्रॉपी अनिश्चितता मापता: आप एक यादृच्छिक परिणाम से कितनी आश्चर्यकता अपेक्षित। एक निष्पक्ष सिक्का अधिकतम अनिश्चित; एक दो-मुँहा सिक्का कोई आश्चर्य नहीं। क्लॉड शैनन ने इसे एक संख्या में, अपेक्षित आश्चर्य, जहाँ एक दुर्लभ घटना की आश्चर्यकता −log p(x) (दुर्लभ अधिक आश्चर्यजनक)।

log₂ एन्ट्रॉपी बिट्स में, परिणाम तय करने के लिए औसत हाँ/ना प्रश्नों की संख्या। एन्ट्रॉपी अधिकतम जब वितरण समान (हर परिणाम समान, अधिकतम भ्रम) और शून्य जब एक परिणाम निश्चित (कोई आश्चर्य नहीं)।

आकृति एक पक्षपाती सिक्के की एन्ट्रॉपी, H(p) = −p log₂ p − (1−p) log₂(1−p)। p खींचें: एन्ट्रॉपी p = 0.5 पर शिखर (1 पूर्ण बिट, एक वास्तविक सिक्का) और निश्चित सिरों पर 0।