Matamaitic na héiginnteachta
Tomhaiseann éagsúlacht KL cé chomh fada is atá dáileadh amháin q ó dháileadh eile p: an t-iontas breise a íocann tú as an réaltacht p a shamhaltú leis an dáileadh mícheart q. Is í an bhearna í atá istigh sa chros-eantrópacht:
Dhá fhíric a fhágann gurb í seo an t-"achar" oibre is mó a úsáidtear i ML. De réir éagothromaíocht Gibbs bíonn sí i gcónaí ≥ 0, agus ní bhíonn sí nialasach ach amháin nuair a bhíonn q = p. Mar sin, nuair a bhrúnn tú KL síos go dtí 0, tá do mhúnla ag teacht go foirfe leis an bhfírinne.
Níl KL siméadrach: de ghnáth KL(p‖q) ≠ KL(q‖p), agus sáraíonn sí éagothromaíocht an triantáin freisin. Tá brí ag baint leis an neamhshiméadracht sin, mar gur botúin dhifriúla a phionósaítear sa dá threo. Cuireann KL(p‖q) pionós trom ar q as a bheith beag san áit a bhfuil p mór ("clúdach módha" a thugtar air); cuireann KL(q‖p) pionós ar q as mais a scaipeadh san áit nach bhfuil p ann ar chor ar bith ("lorg módha" a thugtar air).