Suy luận, ước tính và ra quyết định từ dữ liệu
Chạy một kiểm định với α = 0,05 thì bạn có 5% khả năng gặp dương tính giả. Chạy hai mươi kiểm định độc lập, và ngay cả khi không có gì là thật, bạn vẫn nhiều khả năng nhận được ít nhất một kết quả "có ý nghĩa" nhờ may rủi. Đây là vấn đề kiểm định bội và nó âm thầm làm hỏng một lượng lớn nghiên cứu lẫn thực nghiệm ML.
Xác suất có ít nhất một dương tính giả trong m kiểm định — tỷ lệ sai lầm theo họ — phình lên: với m kiểm định độc lập ở mức α, nó bằng 1 − (1 − α)m. Với m = 20, α = 0,05, con số đó khoảng 64%, tức là nhiều khả năng bạn sẽ tìm ra một hiệu ứng ma.
Mua một vé số duy nhất và tỷ lệ thắng của bạn là rất nhỏ. Mua một nghìn lẻ một trong số chúng có thể "giành được" thứ gì đó hoàn toàn do tình cờ, ngay cả khi bạn không có hiểu biết đặc biệt nào cả. Việc thực hiện nhiều bài kiểm tra thống kê cũng giống như một canh bạc: với đủ số lần thử, một sự may mắn vô nghĩa cuối cùng sẽ vượt qua đường ý nghĩa và giả dạng như một khám phá thực sự.