Математиката на несигурността
Взаимната информация (Mutual Information - MI) измерва доколко познаването на една величина ви дава информация за друга: това е намаляването на несигурността за X, след като вече сте наблюдавали Y. Тя е еквивалентна на KL дивергенцията между истинското съвместно разпределение и произведението от маргиналните (сякаш се преструваме, че са независими):
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Взаимна информация (Mutual Information)