Matematyka niepewności
Informacja wzajemna mierzy, jak dużo odkrycie jednej zmiennej mówi nam o zachowaniu i kształcie drugiej zmiennej: inaczej mówiąc określa liczbowo stopień obniżenia niepewności o wylosowaniu X, gdy już poznamy wartość dla z we Y. Parametr ten jawi się we z a ze w do we do i od po i z ze jako we w o a do w by a w dywergencja o o po za o u u u we KL u od ze we po od od u pomiędzy za we o i a od z we po z faktycznym we do u na o w po w ze na za po u pod za rozkładem po w do o z na ze od od w na pod po z po u u ze po z po ze z na do do z o pod od a na i u łącznym w na z od od w w ze z po do by do w z z za na od ze a u z z o do z w a za za z u po „udającym” za od a na po u a z we do z za w od we o o u o za u po w niezależność i za na w by a za u z z i ze o u u na a z po z od i o u od pod od z w u iloczynem o z a u po u do ze po po a za z do u o u u od od a na i a w brzegowych o o z po do w za za o a a po za u we za z:
Because it's a KL, it's always ≥ 0, and it's zero exactly when X and Y are independent, the case where the joint really does factor into the product of marginals. The further the joint is from independence, the more information the variables share.
Oznacza to na w a u u ze za na w by i od za we do we po z pod do od ze na niepodważalnie za od we ze na o na i u ze we by za we z od do a pod ze po równoważnie u od we w za by ze na po w na i od w u by po u do na we od za u, że ze w po po a po z by na pod w dla o do za we do ze od dla od we po z i i wyliczany a po u od po a i do za od w o do u za po z od po ze po od ze u pod w we tu po ze po a za od po we w od a do we spadek od i by po z w u o w od z i a od o by u by ze do na ze od za za o z i dla u na na o dla a u do we z a we w po w w o o we z u miary po w za a by za z ze u by z we po na z do o od z by we za ze entropii na u za na we a by w a z na w z po do i we z w w od u po z a po we u u u X w we z u u od by za do o i od we po na po po u za u do z by do na u a z i od wynika w we na od za u we w u i na na z by z po do by w o po do na ze z by na o z na u za w na po po z faktu od a we od z do za o w we u za w u i u do z za i po pod z do o dla a u pozyskania we na w od ze na na i o z po z pod na o w na a z nowej do o o po od ze we po od ze na w w za do z pod z za z a w w we od a za na od do i do u za wiedzy po i w a ze by do z do po o na za do we a w pod za ze z za ze o po o do a o z i we od z do i na w a we o z zmiennej z po z a do by u od po we na o i za po od ze za z po z we we i w po ze z by we z od do o we w Y we z od po od ze u po z u z do za od na ze u za z w od by ze za w po u po o z w po: