Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Chẩn đoán bộ tối ưu hóa nghĩa là đọc hiểu lượt chạy huấn luyện trước khi thay đổi công thức huấn luyện. Một đường cong mất mát, một chuẩn gradient, và một đường cong kiểm định thường cho biết vấn đề nằm ở kích thước bước, dữ liệu, thang đo, quá khớp, hay một giới hạn thực sự của mô hình.
Đây không phải là đoán mò. Mỗi kiểu thất bại có một hình dạng điển hình: mất mát bùng nổ, mất mát phẳng lì, mất mát nhiễu nhưng vẫn cải thiện, mất mát huấn luyện giảm trong khi mất mát kiểm định tăng, hay các giá trị NaN đột ngột.
Que thử nước bể cá cho một bức tranh hữu ích. Bạn không sửa nước đục bằng cách đổ đại vào đủ loại hóa chất. Trước tiên bạn đo độ pH, amoniac, và nitrat, rồi mới xử lý đúng chỉ số đang thực sự có vấn đề. Chẩn đoán bộ tối ưu hóa cũng làm y hệt với việc huấn luyện: đo trước, rồi mới thay đổi đúng thứ mà phép đo chỉ ra. Hãy dùng hình bên dưới để hiệu chỉnh con mắt của bạn. Chạy nó một lần cho một lượt đi xuống khỏe mạnh, rồi tăng η lên và tái hiện kiểu mẫu bất ổn, nảy qua nảy lại theo ý muốn.