Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Một tốc độ học cố định hiếm khi là lựa chọn tốt nhất cho toàn bộ quá trình huấn luyện. Giai đoạn đầu huấn luyện có thể chịu được những bước di chuyển lớn hơn vì các tham số còn cách xa những thiết lập hữu ích. Giai đoạn sau thường cần những bước nhỏ hơn để ổn định lại.
Một lịch trình thay đổi η theo thời gian. Khởi động (warmup) bắt đầu với tốc độ học nhỏ rồi tăng dần lên trước khi lịch trình chính bắt đầu.
Khi thả diều lên trời, bạn không giật dây căng hết cỡ ngay lập tức. Bạn để nó bay lên, cảm nhận gió, rồi điều chỉnh dây khi nó ổn định. Khởi động chính là cú thả nhẹ nhàng đó. Lịch trình sau đó là cách bạn điều khiển dây diều khi nó đã bay ổn định.