Độc lập

Toán học của sự không chắc chắn

Hai biến cố độc lập khi biết biến cố này không cho bạn thông tin gì về biến cố kia. Biết đồng xu thứ nhất ra mặt nào không làm thay đổi tỷ lệ của đồng xu thứ hai. Một cách hình thức, tính độc lập nghĩa là xác suất có điều kiện bằng xác suất thông thường, P(A|B) = P(A), và điều này được sắp xếp lại thành một phép kiểm tra gọn gàng:

Vậy với các biến cố độc lập, xác suất để cả hai cùng xảy ra chỉ là tích của chúng. Đây là lý do vì sao khi tung n đồng xu cân đối, một dãy kết quả cụ thể bất kỳ đều có xác suất (1/2)ⁿ: các lần tung không "nói chuyện" với nhau.

Một đồng xu công bằng không có bộ nhớ: sau năm mặt ngửa liên tiếp, lần tung tiếp theo vẫn là 50/50 chẵn, vì đồng xu không thể nhớ nó vừa làm gì. "Không có ký ức" đó chính xác là sự độc lập, trong đó khả năng cả hai lật cùng nhau là tích P(A ∩ B) = P(A) · P(B). Đó cũng là lý do tại sao một dãy n mặt ngửa mang xác suất (1/2)ⁿ.

Vị trí của nó trong MLKhi huấn luyện trên một tập dữ liệu được gán nhãn, bạn hầu như luôn giả định rằng các mẫu là i.i.d., độc lập và cùng phân phối. Giả định đó cho phép tách hàm hợp lý chung của tập dữ liệu thành một tích P(data) = Π P(xᵢ), và tích này trở thành một tổng của các số hạng log (hàm mất mát). Bộ phân loại Naive Bayes còn đi xa hơn, giả định các đặc trưng độc lập có điều kiện khi biết lớp, biến một hàm…
▶ Độc lập
← Định lý BayesBiến ngẫu nhiên →