Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Learning rate yang tetap jarang menjadi yang terbaik untuk keseluruhan run training. Training di awal bisa menangani pergerakan yang lebih besar karena parameter masih jauh dari setelan yang berguna. Training di kemudian hari sering butuh pergerakan yang lebih kecil agar bisa mengendap.
Sebuah schedule mengubah η seiring waktu. Warmup memulai dengan learning rate kecil dan menaikkannya secara bertahap sebelum schedule utama dimulai.
Saat Anda menerbangkan layang-layang, Anda tidak langsung menarik talinya sampai tegang penuh. Anda membiarkannya naik, merasakan anginnya, lalu menyesuaikan talinya seiring ia menjadi stabil. Warmup adalah peluncuran yang lembut itu. Schedule sesudahnya adalah cara Anda mengatur tali setelah layang-layangnya terbang.