The mathematics of uncertainty
Diyelim ki gerçek dağılım p, ama sen sonuçları farklı bir model q kullanarak kodluyorsun. Çapraz entropi, gerçekte ödediğin ortalama şaşkınlıktır: şaşkınlık senin modelin q ile ölçülür, ancak olayların p altında gerçekte ne sıklıkta meydana geldiğine göre ortalanır:
Anlamlı iki parçaya ayrılır: gerçeğin kaçınılmaz entropisi, artı yanlış modeli kullanmanın cezası olan KL ıraksaması (sonraki ders):
H(p) veriyle sabitlendiğinden, modeline göre çapraz entropiyi minimize etmek, KL ıraksamasını minimize etmekle aynıdır ve q'yu p'ye doğru iter. Ayrıca çapraz entropi her zaman en az H(p) kadardır ve eşitlik yalnızca q = p olduğunda sağlanır.