Kiểm định t là công cụ để so sánh các giá trị trung bình. Nó trả lời những câu hỏi như "trung bình này có khác mục tiêu không?" hoặc "trung bình của hai nhóm này có khác nhau không?", bằng cách dùng một thống kê kiểm định để đo khoảng cách giữa các trung bình theo đơn vị sai số chuẩn.
Với trường hợp một mẫu (trung bình μ có bằng mục tiêu μ₀ không?), thống kê là:
Tử số là "trung bình mẫu cách mục tiêu bao xa?"; mẫu số là sai số chuẩn. |t| lớn nghĩa là khoảng cách lớn so với nhiễu, đó là bằng chứng chống lại H₀.
Vị trí của nó trong MLKiểm định t ghép cặp là công cụ phù hợp để kiểm tra "mô hình A có tốt hơn mô hình B một cách đáng kể không?" khi cả hai được đánh giá trên cùng các ví dụ. Việc ghép cặp theo từng ví dụ kiểm tra triệt tiêu biến thiên độ khó giữa các ví dụ, tách bạch khác biệt giữa hai mô hình. Hãy cẩn thận: các fold CV tiêu chuẩn chồng lấn nhau, vi phạm tính độc lập, và đã có những kiểm định ghép cặp hiệu chỉnh…