Information Mutuelle

Les mathématiques de l'incertitude

L'information mutuelle mesure combien la connaissance d'une variable vous apprend sur une autre : la réduction d'incertitude sur X une fois que vous observez Y. C'est la divergence KL entre la jointe vraie et le produit des marginales « en prétendant qu'elles sont indépendantes » :

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Information Mutuelle
← Divergence KLLoi des Grands Nombres →