Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Bộ tìm tốc độ học là một lượt chạy chẩn đoán ngắn. Bắt đầu với một tốc độ học rất nhỏ, tăng dần nó qua nhiều minibatch, và quan sát mất mát phản ứng ra sao.
Bạn không cố hoàn thành việc huấn luyện ở đây; bạn đang tìm kiếm khoảng mà mô hình bắt đầu học trước khi mất mát trở nên bất ổn.
Kỹ thuật chụp bù trừ sáng của máy ảnh dùng cùng ý tưởng đó. Bạn chụp một loạt ảnh từ quá tối tới quá sáng, rồi chọn khoảng mà chi tiết rõ ràng nhất. Bộ tìm làm điều tương tự với các bước huấn luyện, quét η từ rụt rè tới liều lĩnh và đánh dấu nơi việc học trở nên sắc nét. Bạn có thể tự diễn lại một bộ tìm thủ công trong hình bên dưới: chạy với η nhỏ, đẩy nó lên, chạy lại. Ở đâu đó cú trượt mượt mà sẽ biến thành vọt lố và nảy qua nảy lại, và đó chính là ranh giới bùng nổ mà lượt quét đang tìm kiếm.