Kiểm định chéo

Suy luận, ước tính và ra quyết định từ dữ liệu

Bạn không thể đánh giá một mô hình bằng lỗi huấn luyện của nó; nó đã thấy dữ liệu đó rồi nên có thể "gian lận" bằng cách ghi nhớ. Bạn cần lỗi trên dữ liệu mà nó chưa từng thấy. Nhưng việc tách riêng một tập kiểm tra duy nhất vừa lãng phí dữ liệu vừa cho ước lượng nhiễu. Kiểm định chéo giải quyết cả hai vấn đề.

Trong kiểm định chéo k-fold, chia dữ liệu thành k fold (phần) bằng nhau. Huấn luyện trên k−1 phần, kiểm định trên phần được giữ lại, và xoay vòng sao cho mỗi fold đóng vai trò tập kiểm định đúng một lần. Lấy trung bình k lỗi kiểm định để có ước lượng ổn định về khả năng tổng quát hóa của mô hình.

Xác thực chéo giống như thực hiện nhiều bài thi thử để dự đoán điểm bài thi thật của bạn. Nếu bạn chỉ tự chấm điểm cho những câu hỏi mà bạn đã ghi nhớ câu trả lời, thì bạn sẽ đánh giá quá cao, vì vậy, mỗi lần bạn dành ra một loạt câu hỏi mới, tự chấm điểm cho những câu hỏi đó và luân chuyển loạt câu hỏi được giữ lại. Việc tính trung bình điểm số của bạn trong tất cả các buổi thực hành sẽ đưa ra dự đoán chắc chắn hơn nhiều về kết quả bạn sẽ làm trong ngày như thế nào so với bất kỳ bài kiểm tra thử đơn lẻ nào.

Vị trí của nó trong MLKiểm định chéo là cách những người làm ML chọn mô hình và siêu tham số mà không tự lừa dối mình. Nó ước lượng lỗi tổng quát hóa (đại lượng mà phân rã độ chệch–phương sai nói về) trong khi sử dụng toàn bộ dữ liệu một cách hiệu quả. Và đó là tuyến phòng thủ đầu tiên chống lại rò rỉ dữ liệu: lỗi âm thầm khi thông tin từ phân phối kiểm tra lọt vào quá trình huấn luyện và tạo ra những điểm số đẹp đẽ…
▶ Kiểm định chéo
← Phân tích độ chệch–phương saiChỉ số đánh giá →