Thông tin tương hỗ đo lường mức độ một biến cho bạn biết về biến kia: độ bất định về X giảm đi bao nhiêu khi bạn quan sát Y. Đó là phân kỳ KL giữa phân phối đồng thời thực và tích các phân phối biên kiểu "giả vờ chúng độc lập":
Vì là một KL, nó luôn ≥ 0 và bằng đúng không khi X và Y độc lập, đó là trường hợp phân phối đồng thời thực bằng tích các phân phối biên. Phân phối đồng thời càng xa khỏi sự độc lập thì các biến càng chia sẻ nhiều thông tin với nhau.
Một cách tương đương, đó là mức giảm entropy của X khi học được Y:
Vị trí của nó trong MLThông tin tương hỗ định lượng một biểu diễn giữ lại bao nhiêu thông tin về đầu vào của nó. Nguyên lý nút thắt thông tin (information bottleneck) định hình một biểu diễn tốt Z là biểu diễn cực đại hóa I(Z; Y) (giữ thứ dự đoán được nhãn) trong khi cực tiểu hóa I(Z; X) (vứt bỏ chi tiết đầu vào không liên quan). InfoNCE, hàm mất mát đứng sau học tự giám sát tương phản (SimCLR, CPC), là một cận dưới…