Entropy chéo — Xác suất · Mathematics for Machine Learning

Giả sử sự thật là phân phối p, nhưng bạn lại mã hóa các kết quả bằng một mô hình khác q. Entropy chéo là mức bất ngờ trung bình mà bạn thực sự phải trả: mức bất ngờ được đo theo mô hình q của bạn, nhưng lấy trung bình theo tần suất thực mà các sự kiện xảy ra trong p:

Nó tách thành hai phần có ý nghĩa: entropy không thể tránh khỏi của sự thật, cộng với hình phạt do dùng sai mô hình, tức phân kỳ KL (bài học tiếp theo):

Vì H(p) được cố định bởi dữ liệu, nên cực tiểu hóa entropy chéo theo mô hình của bạn tương đương hệt với cực tiểu hóa phân kỳ KL, kéo q về phía p. Và entropy chéo luôn ít nhất bằng H(p), chỉ bằng đúng khi q = p.

Vị trí của nó trong MLMở hầu hết mọi bộ phân loại hay mô hình ngôn ngữ ra, bạn sẽ thấy lớp cuối là softmax, theo sau là hàm mất mát entropy chéo. Cực tiểu hóa nó chính xác là ước lượng hợp lý cực đại: −log q(đúng) lấy tổng trên dữ liệu chính là log-likelihood âm. Huấn luyện một mạng để dự đoán token tiếp theo chính là cực tiểu hóa entropy chéo giữa phân phối token tiếp theo thực và phân phối của mô hình.