Chẩn đoán mô hình

Suy luận, ước tính và ra quyết định từ dữ liệu

Khớp một mô hình hồi quy là phần dễ. Câu hỏi khó hơn là liệu bạn có thể tin nó hay không. Chẩn đoán mô hình là các bước kiểm tra nhằm phát hiện một mô hình khớp với các con số nhưng vi phạm những giả định nền tảng. Đối tượng hữu ích nhất để xem xét là phần dư: e = y − ŷ, phần còn lại mà mô hình không giải thích được.

Nếu mô hình đúng, phần dư sẽ trông như nhiễu thuần túy: không quy luật, độ phân tán không đổi, gần như đối xứng. Công cụ chính là biểu đồ phần dư: phần dư trên trục y so với các giá trị dự đoán (hoặc đầu vào) trên trục x. Bạn đang tìm cấu trúc lẽ ra không nên xuất hiện ở đó.

Một bác sĩ giỏi không dừng lại ở việc gọi tên bệnh tật; họ kiểm tra những triệu chứng còn sót lại sau khi điều trị. Nếu bệnh nhân vẫn ho dai dẳng thì chẩn đoán đã bỏ sót điều gì đó. Phần dư là triệu chứng còn sót lại của mô hình: phần dữ liệu mà đường thẳng phù hợp không thể giải thích được. Nếu chúng hiển thị một mô hình rõ ràng thay vì nhiễu ngẫu nhiên vô hại thì mô hình đó cũng đã bỏ sót điều gì đó.

Vị trí của nó trong MLPhân tích phần dư là tiền thân thống kê của đường cong học tập và phân tích lỗi trong ML. "Mất mát huấn luyện ≠ mất mát kiểm định" là một chẩn đoán: khoảng cách lớn báo hiệu quá khớp (phương sai cao), giống như phần dư có quy luật báo hiệu mô hình bị đặc tả sai. Việc phân nhỏ lỗi theo từng nhóm con để tìm nơi mô hình thất bại một cách hệ thống chính là tư duy biểu đồ phần dư, được mở rộng quy mô.
▶ Chẩn đoán mô hình
← Hồi quy tuyến tính bộiHồi quy chính quy hóa →