المعلومات المتبادلة تقيس مقدار ما تخبرك به معرفة متغير عن متغير آخر: الانخفاض في عدم اليقين بشأن X بمجرد أن تلاحظ Y. إنها تباعد KL بين التوزيع المشترك الحقيقي وحاصل ضرب الهامشيين بافتراض "كأنهما مستقلان":
لأنها تباعد KL، فهي دائمًا ≥ 0، وتكون صفرًا تحديدًا عندما يكون X وY مستقلين، وهي الحالة التي يتحلل فيها التوزيع المشترك فعلًا إلى حاصل ضرب الهامشيين. كلما ابتعد التوزيع المشترك عن الاستقلال، زادت المعلومات التي يتشاركها المتغيران.
وبشكل مكافئ، إنها الانخفاض في إنتروبيا X نتيجة معرفة Y:
أين يظهر هذا في تعلّم الآلةتُحدِّد المعلومات المتبادلة مقدار ما يحتفظ به التمثيل عن مدخله. مبدأ عنق زجاجة المعلومات يصوغ التمثيل الجيد Z بوصفه تمثيلًا يعظّم I(Z; Y) (احتفظ بما يتنبأ بالتصنيف) بينما يصغّر I(Z; X) (تخلَّ عن تفاصيل المدخل غير ذات الصلة). وInfoNCE، الخسارة الكامنة وراء التعلم الذاتي الإشراف التقابلي (SimCLR وCPC)، هي حد أدنى قابل للحساب للمعلومات المتبادلة بين منظورين لنفس البيانات.