الإنتروبيا المتقاطعة

رياضيات عدم اليقين

افترض أن الحقيقة هي التوزيع p، لكنك ترمّز النتائج باستخدام نموذج مختلف q. الإنتروبيا المتقاطعة هي متوسط الدهشة التي تدفعها فعليًا: دهشة مقيسة بنموذجك q، لكن متوسطها محسوب على مدى تكرار الأحداث فعليًا تحت p:

تنقسم إلى جزأين ذَوي معنى: الإنتروبيا الحتمية للحقيقة، إضافةً إلى غرامة استخدام النموذج الخاطئ، وهي تباعد كولباك-لايبلر (KL) (الدرس التالي):

بما أن H(p) ثابتة تحددها البيانات، فإن تصغير الإنتروبيا المتقاطعة على نموذجك مطابق لتصغير تباعد KL، مما يدفع q نحو p. والإنتروبيا المتقاطعة تكون دائمًا على الأقل H(p)، مع المساواة فقط عندما q = p.