Karşılıklı bilgi, bir değişkeni bilmenin diğeri hakkında ne kadar şey söylediğini ölçer: Y'yi gözlemledikten sonra X hakkındaki belirsizliğin azalması. Gerçek bileşik dağılım ile "bağımsızmış gibi davran" diyen marjinallerin çarpımı arasındaki KL ıraksamasıdır:
Bir KL olduğu için her zaman ≥ 0'dır ve tam olarak X ile Y bağımsız olduğunda — bileşik dağılımın gerçekten marjinallerin çarpımına ayrıştığı durumda — sıfırdır. Bileşik dağılım bağımsızlıktan ne kadar uzaksa, değişkenler o kadar çok bilgi paylaşır.
Eşdeğer olarak, Y'yi öğrenmekten kaynaklanan X'in entropisindeki düşüştür:
Bunun ML'deki yeriKarşılıklı bilgi, bir temsilin girdisi hakkında ne kadar şey sakladığını niceler. Bilgi darboğazı (information bottleneck) ilkesi, iyi bir temsil Z'yi I(Z; Y)'yi maksimize eden (etiketi tahmin edeni tut) ve aynı zamanda I(Z; X)'i minimize eden (ilgisiz girdi ayrıntısını at) bir şey olarak çerçeveler. Karşıtsal (contrastive) öz-denetimli öğrenmenin (SimCLR, CPC) arkasındaki kayıp olan InfoNCE,…