Matematika ketidakpastian
Misalkan kebenaran adalah distribusi p, tapi Anda mengode hasil menggunakan model berbeda q. Cross-entropy adalah kejutan rata-rata yang sebenarnya Anda bayar: kejutan diukur oleh model q, tapi dirata-rata atas seberapa sering kejadian benar-benar terjadi di bawah p:
Terpecah menjadi dua bagian bermakna: entropi kebenaran yang tak terhindarkan, plus penalti untuk menggunakan model salah, divergensi KL (pelajaran berikut):
Karena H(p) tetap oleh data, meminimalkan cross-entropy atas model identik dengan meminimalkan divergensi KL, mendorong q menuju p. Dan cross-entropy selalu setidaknya H(p), dengan kesetaraan hanya saat q = p.