Giá trị p — Thống kê · Mathematics for Machine Learning

Giá trị p quy câu hỏi "thống kê kiểm định của tôi cực đoan đến mức nào?" về một con số duy nhất. Đó là xác suất quan sát được dữ liệu cực đoan ít nhất bằng dữ liệu của bạn, với giả định H₀ là đúng. Giá trị p nhỏ nghĩa là "dữ liệu này sẽ rất đáng ngạc nhiên nếu thực sự không có hiệu ứng", tức là bằng chứng chống lại H₀.

Quy tắc quyết định mang tính máy móc: chọn trước một ngưỡng α (thường là 0,05), rồi bác bỏ H₀ nếu p < α. Một giá trị p nhỏ không chứng minh được H₁; nó chỉ nói rằng giả thuyết không giải thích dữ liệu một cách tệ.

Giá trị p là một sự kiểm tra ngẫu nhiên: nếu không có gì thực sự xảy ra thì kết quả như của bạn sẽ đáng ngạc nhiên đến mức nào? Giả sử một người bạn yêu cầu một đồng xu công bằng nhưng lại tung ra chín mặt ngửa liên tiếp — giá trị p đưa ra một con số cho biết mức độ hiếm của chuỗi đó trong câu chuyện 'nó công bằng' nhàm chán H₀. Con số càng nhỏ thì càng khó coi kết quả là may mắn.

Vị trí của nó trong MLTrong ML, giá trị p cho bạn biết việc mô hình A thắng mô hình B trên một điểm chuẩn là tín hiệu hay nhiễu. Nhưng cái bẫy là có thật: với một tập kiểm tra khổng lồ, mức tăng độ chính xác 0,01% có thể "có ý nghĩa" nhưng hoàn toàn vô nghĩa trong thực tế. Và việc thao túng p — thử cấu hình cho đến khi đạt p < 0,05 — chính là cách các bảng xếp hạng đầy rẫy những kết quả không thể tái lập.