Định lý Bayes — Xác suất · Mathematics for Machine Learning

Thường thì bạn biết một chiều của điều kiện nhưng lại muốn chiều ngược lại. Xét nghiệm y tế cho bạn biết P(positive | disease), nhưng bệnh nhân muốn biết P(disease | positive). Định lý Bayes là cây cầu đảo ngược một xác suất có điều kiện.

Nó suy ra trực tiếp từ bài học trước. Quy tắc nhân cho ra P(A∩B) theo hai cách, là P(A|B)P(B) và P(B|A)P(A). Cho chúng bằng nhau rồi chia cho P(B). Ba thành phần này có những cái tên mà bạn sẽ gặp khắp nơi trong ML: P(A) là tiên nghiệm (niềm tin trước khi có bằng chứng), P(B|A) là hàm hợp lý (A giải thích bằng chứng tốt đến đâu) và P(A|B) là hậu nghiệm (niềm tin đã cập nhật).

Phần mẫu số P(B) thường được tính bằng cách tách theo tất cả các cách mà B có thể xảy ra, đó là công thức xác suất toàn phần:

Vị trí của nó trong MLĐịnh lý Bayes là động cơ của ML xác suất. Suy luận Bayes cập nhật phân phối tiên nghiệm của tham số thành hậu nghiệm khi biết dữ liệu: P(θ | data) ∝ P(data | θ)·P(θ). Huấn luyện theo hàm hợp lý cực đại là trường hợp đặc biệt khi tiên nghiệm phẳng, và việc thêm một tiên nghiệm chính là điều mà chính quy hóa L2 thực hiện (một tiên nghiệm Gaussian trên trọng số). Toàn bộ "dự đoán hậu nghiệm" của…