Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Tốc độ học là kích thước bước của gradient descent. Gradient cho biết hướng nào khiến mất mát tăng nhanh nhất; bộ tối ưu hóa di chuyển theo hướng ngược lại. Tốc độ học η quyết định nó di chuyển bao xa.
Quá nhỏ thì việc huấn luyện bò rất chậm. Quá lớn thì bước cập nhật có thể nhảy vọt qua vùng hữu ích, nảy qua nảy lại, hoặc bùng nổ. Hầu hết các vấn đề bộ tối ưu hóa trông có vẻ bí ẩn thực ra trước tiên là vấn đề kích thước bước.
Một chiếc thuyền kayak minh họa sự đánh đổi này. Những nhát chèo nhỏ giữ được sự kiểm soát nhưng khiến tiến độ chậm chạp. Những nhát chèo mạnh có thể khiến kayak lệch khỏi luồng nước, rồi bạn lại tốn sức để chỉnh lại. Tốc độ học chính là độ dài nhát chèo. Hãy thử bên dưới: chọn điểm bắt đầu, rồi tăng η giữa các lượt chạy và xem tiến độ ổn định biến thành sự vọt qua và nảy qua nảy lại.