Informasi mutual mengukur berapa banyak mengetahui satu variabel memberi tahu Anda tentang yang lain: pengurangan ketidakpastian tentang X begitu Anda mengamati Y. Itu divergensi KL antara gabungan sejati dan produk marginal "berpura-pura independen":
Karena KL, selalu ≥ 0, dan nol tepat saat X dan Y independen, kasus di mana gabungan benar-benar difaktorkan menjadi produk marginal. Semakin jauh gabungan dari independensi, semakin banyak informasi variabel berbagi.
Ekuivalen, itu penurunan entropi X dari belajar Y:
Di mana ini berlaku dalam MLInformasi mutual menguantifikasi berapa banyak representasi simpan tentang masukannya. Prinsip information bottleneck membingkai representasi baik Z sebagai yang memaksimalkan I(Z; Y) (simpan yang memprediksi label) sambil meminimalkan I(Z; X) (buang detail masukan tak relevan). InfoNCE, loss di balik pembelajaran self-supervised kontrasif (SimCLR, CPC), adalah batas bawah tractable pada…