الإنتروبيا

رياضيات عدم اليقين

الإنتروبيا تقيس عدم اليقين: مدى الدهشة التي تتوقع أن تشعر بها من نتيجة عشوائية. العملة المتوازنة في أقصى درجات عدم اليقين؛ والعملة ذات الوجهين لا تحمل أي مفاجأة على الإطلاق. حوّل كلود شانون هذا إلى رقم، وهو الدهشة المتوقعة، حيث تكون دهشة حدث نادر −log p(x) (الأندر يعني الأكثر إدهاشًا).

استخدام log₂ يقيس الإنتروبيا بـالبتات، أي متوسط عدد أسئلة نعم/لا اللازمة لتحديد النتيجة. تكون الإنتروبيا أكبر ما تكون عندما يكون التوزيع منتظمًا (كل نتيجة متساوية الاحتمال، أقصى تشويش) وصفرًا عندما تكون إحدى النتائج مؤكدة (لا مفاجأة ممكنة).

يُظهر الشكل إنتروبيا عملة منحازة واحدة، H(p) = −p log₂ p − (1−p) log₂(1−p). اسحب p: تبلغ الإنتروبيا ذروتها عند p = 0.5 (بت كامل واحد، رمية عملة حقيقية) وتهبط إلى 0 عند الطرفين المؤكدين.