Chỉ số đánh giá — Thống kê · Mathematics for Machine Learning

"Độ chính xác" nghe có vẻ là cách hiển nhiên để chấm điểm một bộ phân loại, cho đến khi nó phản tác dụng. Chỉ số đánh giá phù hợp hoàn toàn phụ thuộc vào bài toán và cái giá của từng loại sai lầm. Hãy bắt đầu với ma trận nhầm lẫn: số đếm dương thật (TP), dương giả (FP), âm thật (TN) và âm giả (FN). Mọi chỉ số đều được dựng từ bốn con số này.

Hai chỉ số bổ sung cho nhau. Precision (độ chính xác) = TP/(TP+FP) hỏi "trong số những gì tôi gắn cờ là dương, thực sự có bao nhiêu là dương?" Recall (độ nhạy) = TP/(TP+FN) hỏi "trong số các trường hợp dương thực tế, tôi bắt được bao nhiêu?"

Chúng đánh đổi lẫn nhau: gắn cờ mọi thứ thì Recall đạt 1 nhưng Precision rớt; chỉ gắn cờ những trường hợp chắc chắn nhất thì Precision tăng vọt trong khi Recall tụt xuống. Điểm F1 cân bằng hai chỉ số bằng trung bình điều hòa của chúng:

Vị trí của nó trong MLChọn sai chỉ số sẽ âm thầm phá hỏng các dự án ML. Tối ưu hóa độ chính xác trên dữ liệu mất cân bằng sẽ tạo ra một mô hình bỏ qua đúng cái lớp mà bạn thực sự quan tâm. Chỉ số bạn tối ưu hóa chính là hành vi bạn nhận được, vì vậy hãy định nghĩa thành công bằng Precision/Recall/F1/AUC trước khi huấn luyện, sao cho khớp với chi phí thực tế của dương giả so với âm giả.