互信息

不确定性的数学

互信息测量知道一个变量能告诉你关于另一个变量多少信息:观察到 Y 后,关于 X 的不确定性减少了多少。它是真实联合分布与“假装它们独立”的边缘分布乘积之间的 KL 散度:

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 互信息
← KL 散度大数定律 →