Ước lượng Bayes — Thống kê · Mathematics for Machine Learning

MLE hỏi "θ đơn lẻ nào giải thích dữ liệu tốt nhất?". Ước lượng Bayes đặt ra một câu hỏi phong phú hơn: "với dữ liệu đã cho, toàn bộ niềm tin của tôi về θ là gì?". Thay vì một con số, bạn nhận được cả một phân phối, và bạn có thể đưa vào những điều mình đã biết từ trước.

Ba thành phần. Phân phối tiên nghiệm p(θ) là niềm tin của bạn trước khi xem dữ liệu. Hàm hợp lý p(x|θ) cho biết mỗi θ giải thích dữ liệu tốt đến đâu (chính là đối tượng trong MLE). Quy tắc Bayes kết hợp chúng thành phân phối hậu nghiệm p(θ|x):

Hãy đọc nó như sau: niềm tin hậu nghiệm = θ giải thích dữ liệu tốt đến đâu, được cân nhắc theo mức độ hợp lý của θ ngay từ đầu. Càng nhiều dữ liệu thì hàm hợp lý càng chiếm ưu thế và lấn át phân phối tiên nghiệm.

Vị trí của nó trong MLChính quy hóa chính là ý tưởng này được dùng hằng ngày. Việc thêm phạt L2 λ‖β‖² vào hàm mất mát chính xác là ước lượng MAP với tiên nghiệm Gauss trên các trọng số. Tiên nghiệm này nói rằng "trọng số gần 0 thì hợp lý hơn". Việc thêm phạt L1 tương ứng với tiên nghiệm Laplace, ưu tiên các trọng số thưa. Suy giảm trọng số (weight decay) không phải một mẹo vặt; nó là tiên nghiệm Bayes mang tên khác.