Kiểm định phi tham số — Thống kê · Mathematics for Machine Learning

Kiểm định t dựa trên một giả định: dữ liệu xấp xỉ chuẩn. Khi giả định đó không còn đúng (mẫu nhỏ, lệch rõ rệt, đuôi nặng, dữ liệu thứ bậc), các kiểm định phi tham số sẽ vào cuộc. Chúng hầu như không đưa ra giả định nào về hình dạng của phân phối, thường bằng cách làm việc với hạng (rank) thay vì giá trị thô.

Hai công cụ chủ lực. Kiểm định hạng có dấu Wilcoxon là đối ứng phi tham số của kiểm định t ghép cặp (các cặp tương ứng). Kiểm định Mann–Whitney U là đối ứng của kiểm định t hai mẫu (hai nhóm độc lập). Cả hai đều đặt câu hỏi "các giá trị này có xu hướng lớn hơn không?" mà không giả định tính chuẩn.

Hãy tưởng tượng bạn đang đánh giá một cuộc đua bằng chân khi đồng hồ bấm giờ bị hỏng. Bạn không thể đọc thời gian về đích chính xác nhưng bạn vẫn có thể biết ai đã vượt qua vạch đầu tiên, thứ hai và thứ ba. Thứ tự về đích, thứ hạng đó đủ để tuyên bố người chiến thắng và không quan tâm thời gian cách nhau 10 giây hay 10 phút. Các thử nghiệm phi tham số hoạt động theo cách tương tự: chúng thay thế các giá trị thô bằng thứ hạng, do đó, một số giá trị ngoại lệ hoang dã hoặc phân phối sai lệch không thể làm sai lệch kết quả.

Vị trí của nó trong MLKhi so sánh độ chính xác của mô hình, điểm số thường chỉ là một vài con số không chuẩn — hoàn hảo cho các kiểm định phi tham số. Kiểm định hoán vị đặc biệt được giới ML ưa chuộng vì về cơ bản chúng không đưa ra giả định nào và thích ứng với bất kỳ thống kê kiểm định nào bạn quan tâm, kể cả các chỉ số tùy chỉnh khác thường. Chúng mạnh mẽ chính ở nơi kiểm định t trở nên lo ngại.