Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Dừng sớm dùng hiệu năng kiểm định để quyết định khi nào ngừng huấn luyện. Nếu mất mát kiểm định ngừng cải thiện đủ lâu, bạn giữ lại điểm kiểm tra tốt nhất rồi dừng lại. Tiến độ ở đây được đếm theo epoch: một epoch là một lượt đi qua toàn bộ dữ liệu huấn luyện, và việc kiểm định thường được thực hiện sau mỗi epoch.
Đây vừa là cách tiết kiệm tính toán vừa là một bộ chính quy hóa. Nó ngăn mô hình tiếp tục khớp tập huấn luyện sau khi hiệu năng kiểm định đã bắt đầu xấu đi.
Một chiếc máy nướng bánh mì cho đúng bản năng cần có. Lấy bánh mì ra quá sớm khiến nó nhợt nhạt. Chờ quá lâu khiến nó cháy. Bạn theo dõi lát bánh và dừng lại khi nó đạt màu đẹp nhất, chứ không phải khi thanh nhiệt đã chạy lâu hết mức có thể. Hình bên dưới cho thấy dữ liệu “theo dõi” đến từ đâu: giữ lại một phần dữ liệu huấn luyện, hoặc xoay vòng các fold như minh họa, để mô hình được đánh giá trên những ví dụ nó chưa từng khớp. Dừng sớm đọc tín hiệu của nó chính xác từ phần dữ liệu giữ lại đó.