Các phân phối rời rạc chính — Xác suất · Mathematics for Machine Learning

Một số phân phối có tên gọi sẵn bao quát hầu hết các tình huống rời rạc trong ML. Mỗi cái là một PMF dựng sẵn với giá trị trung bình và phương sai đã biết, nên bạn sẽ chọn cái phù hợp thay vì phải bắt đầu lại từ đầu.

Bernoulli(p) mô hình hóa một phép thử với hai kết quả: thành công (1) với xác suất p, thất bại (0) với xác suất 1−p. Đó là viên gạch nền tảng để xây dựng nên mọi phân phối rời rạc khác.

Hai lần đếm hàng ngày thể hiện sự phân bổ tiêu đề. Lật một đồng xu 10 lần và đếm mặt ngửa: số đó là Nhị thức, tổng của 10 lần thử có/không độc lập. Bây giờ hãy đếm số cuộc điện thoại mà bộ phận trợ giúp nhận được trong một giờ: số đó là Poisson, quy luật dành cho các sự kiện hiếm hoi được rải theo thời gian, với một tỷ lệ duy nhất λ nhân đôi cả giá trị trung bình và phương sai của nó.

Vị trí của nó trong MLKhi bạn chọn một hàm mất mát phân loại, thực ra bạn đang chọn một trong các phân phối này. Cross-entropy nhị phân là log-likelihood âm của Bernoulli: nó chấm điểm xác suất đơn lẻ của mô hình so với nhãn 0/1. Cross-entropy đa lớp là log-likelihood âm của Categorical, chấm điểm đầu ra softmax so với nhãn one-hot. Hàm mất mát bạn chọn mã hóa phân phối mà bạn giả định các nhãn tuân theo.