PDF & CDF — Xác suất · Mathematics for Machine Learning

Với các đại lượng liên tục như chiều cao, cân nặng hay cường độ pixel, hỏi P(X = 3.0000…) là vô nghĩa: có vô hạn giá trị, nên bất kỳ một giá trị cụ thể nào cũng có xác suất bằng 0. Thay vào đó, ta mô tả xác suất được trải ra như thế nào bằng một hàm mật độ xác suất f(x), và đọc xác suất dưới dạng diện tích.

Bản thân mật độ không phải là xác suất, và nó có thể vượt quá 1. Điều bắt buộc phải đảm bảo là nó không âm và tổng diện tích bằng 1 — đó là tiếng vọng liên tục của "PMF có tổng bằng 1":

Hãy kéo μ và σ ở trên: đường cong trượt đi và giãn ra, nhưng diện tích bên dưới luôn giữ đúng bằng 1. Xác suất của một khoảng là phần diện tích nằm trên khoảng đó.

Vị trí của nó trong MLĐầu ra của một mô hình sinh p(x | θ) là một mật độ. Để lấy mẫu từ một phân phối 1 chiều, bạn có thể dùng lấy mẫu biến đổi nghịch đảo: rút một số đều u ∈ [0,1] rồi trả về F⁻¹(u), tức nghịch đảo CDF. Các luồng chuẩn hóa (normalizing flows) tổng quát hóa chính ý tưởng này, học một ánh xạ khả nghịch dùng phép đổi biến để biến một mật độ đơn giản thành một mật độ phức tạp.