رياضيات عدم اليقين
تباعد KL يقيس مدى بُعد توزيع q عن توزيع آخر p: الدهشة الإضافية التي تدفعها لنمذجة الواقع p بالتوزيع الخاطئ q. إنه الفجوة الكامنة داخل الإنتروبيا المتقاطعة:
حقيقتان تجعلانه "المسافة" الأساسية لتعلم الآلة. بموجب متباينة غيبس فهو دائمًا ≥ 0، ويكون صفرًا تحديدًا عندما q = p. لذا فإن دفع KL إلى 0 يعني جعل نموذجك يطابق الحقيقة تمامًا.
KL غير متماثل: KL(p‖q) ≠ KL(q‖p) بشكل عام، وهو يخالف متباينة المثلث. عدم التماثل له معنى، لأن الاتجاهين يكافئان إخفاقات مختلفة. KL(p‖q) يعاقب q بشدة لكونه صغيرًا حيث يكون p كبيرًا (فهو "مغطٍّ للأنماط")؛ بينما KL(q‖p) يعاقب q لنشره كتلة حيث لا يملك p شيئًا (فهو "باحث عن نمط").