पारस्परिक सूचना मापता एक चर जानना दूसरे के बारे कितना बताता: X के बारे अनिश्चितता में कमी एक बार Y देखा। यह सच्चे संयुक्त और "मानें स्वतंत्र" सीमांतों के गुणनफल के बीच KL विचलन:
क्योंकि यह KL, हमेशा ≥ 0, और शून्य ठीक जब X और Y स्वतंत्र, वह मामला जहाँ संयुक्त सच में सीमांतों के गुणनफल में खोलता। संयुक्त स्वतंत्रता से जितना दूर, उतनी अधिक सूचना चर साझा।
समतुल्य, यह Y सीखने पर X की एन्ट्रॉपी में कमी:
ML में इसका स्थानपारस्परिक सूचना निर्धारित करती एक निरूपण अपने इनपुट के बारे कितना रखता। सूचना बॉतलनेक सिद्धांत एक अच्छा निरूपण Z जो I(Z; Y) अधिकतम (लेबल भविष्यवाणी करने वाला रखें) और I(Z; X) न्यूनतम (अप्रासंगिक इनपुट विवरण छोड़ें)। InfoNCE, कंट्रास्टिव स्व-पर्यवेक्षित शिक्षण (SimCLR, CPC) के पीछे हानि, एक ही डेटा के दृश्यों के बीच पारस्परिक सूचना पर एक क्रमणीय निचला बाउंड।