Toán học của sự không chắc chắn
Phân kỳ KL đo độ "xa" giữa một phân phối q so với một phân phối khác p: bạn phải trả thêm bao nhiêu mức bất ngờ khi mô hình hóa thực tế p bằng phân phối sai q. Đó chính là khoảng cách nằm bên trong entropy chéo:
Hai sự thật biến nó thành "thước đo khoảng cách" đặc trưng của ML. Theo bất đẳng thức Gibbs, nó luôn ≥ 0, và bằng không đúng khi q = p. Vì vậy, đẩy KL về 0 nghĩa là làm cho mô hình của bạn khớp hoàn hảo với thực tế.
KL không đối xứng: KL(p‖q) ≠ KL(q‖p) nói chung, và nó vi phạm bất đẳng thức tam giác. Sự bất đối xứng này có ý nghĩa, vì hai chiều phạt những kiểu thất bại khác nhau. KL(p‖q) phạt nặng q khi nó nhỏ trong khi p lớn (đó là kiểu "phủ trùm mọi mode"); KL(q‖p) phạt q khi nó trải khối lượng vào nơi p không có (đó là kiểu "bám lấy một mode").