The mathematics of uncertainty
KL ıraksaması, bir dağılımın q'nun başka bir dağılım p'den ne kadar uzak olduğunu ölçer: gerçeği p'yi yanlış dağılım q ile modellediğin için ödediğin ek şaşkınlık. Çapraz entropinin içindeki boşluktur:
İki gerçek onu ML'in "mesafe" beygiri yapar. Gibbs eşitsizliği gereği her zaman ≥ 0'dır ve tam olarak q = p olduğunda sıfırdır. Yani KL'yi 0'a indirmek, modelini gerçekle mükemmel biçimde eşleştirmek demektir.
KL simetrik değildir: genel olarak KL(p‖q) ≠ KL(q‖p) ve üçgen eşitsizliğini ihlal eder. Asimetri anlamlıdır, çünkü iki yön farklı başarısızlıkları ödüllendirir. KL(p‖q), p'nin büyük olduğu yerde q'nun küçük olmasını ağır cezalandırır ("mod-kapsayıcı"dır); KL(q‖p) ise p'nin hiç kütlesi olmayan yere q'nun kütle yaymasını cezalandırır ("mod-arayıcı"dır).