Suy luận, ước tính và ra quyết định từ dữ liệu
Bạn đã xây hai bộ phân loại, một cái đạt độ chính xác 91,0%, cái kia 91,4%. Cái thứ hai có thực sự tốt hơn không, hay nó chỉ gặp may với một tập kiểm tra thuận lợi hơn? Trả lời câu hỏi này một cách chặt chẽ chính là kiểm định thống kê cho ML: kiểm định giả thuyết được điều chỉnh cho các đặc thù của việc so sánh mô hình.
Cách làm ngây thơ — một kiểm định t đơn giản trên độ chính xác từng fold — là sai lầm, bởi các fold của kiểm định chéo chia sẻ dữ liệu huấn luyện và do đó vi phạm tính độc lập mà kiểm định t giả định. Điều này khiến kiểm định trở nên quá tự tin, thổi phồng tỉ lệ dương giả. Ba công cụ tốt hơn xử lý bối cảnh ML một cách trung thực.
Kiểm định McNemar so sánh hai bộ phân loại trên cùng một tập kiểm tra bằng cách chỉ xét những ví dụ mà chúng bất đồng — đúng câu hỏi cần đặt cho các dự đoán được ghép cặp. Bootstrap lấy mẫu lại có hoàn lại trên tập kiểm tra nhiều lần để dựng trực tiếp khoảng tin cậy cho độ chính xác mà không cần công thức. Kiểm định t ghép cặp đã hiệu chỉnh điều chỉnh phương sai để tính đến sự chồng lấp giữa các fold của CV, loại bỏ sự quá tự tin của phiên bản ngây thơ.