Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Một phòng thí nghiệm bộ tối ưu hóa so sánh các bộ tối ưu hóa trong điều kiện được kiểm soát. Chạy cùng một mô hình, dữ liệu, kích thước batch, ngân sách lịch trình, và kế hoạch seed, rồi chỉ thay đổi bộ tối ưu hóa hoặc một thiết lập của nó.
Nếu thiếu sự kiểm soát đó, các so sánh bộ tối ưu hóa trở thành những câu chuyện. Một lượt chạy nhanh hơn có thể chỉ vì đã dùng một tốc độ học tốt hơn, một lịch trình khác, hay một seed may mắn hơn.
Một ngày thử xe trên đường đua có những quy tắc cho việc này. Nếu bạn so sánh hai chiếc xe, bạn giữ đường đua, lốp xe, tải nhiên liệu, và thời tiết được kiểm soát càng nhiều càng tốt. Nếu không, bạn sẽ không thể biết chiếc xe nhanh hơn hay điều kiện dễ dàng hơn. Hình bên dưới là một bàn thí nghiệm thu nhỏ: cùng một bề mặt kéo dài trong mỗi lượt chạy, với η, β, và κ làm các biến của bạn. Thay đổi đúng một biến, chạy, rồi so sánh đường đi. Đó là toàn bộ kỷ luật của bài học này gói gọn trong một widget.