Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Sabit bir öğrenme oranı, bütün bir eğitim koşusu için nadiren en iyisidir. Eğitimin başında parametreler yararlı ayarlardan uzak olduğu için daha büyük hareketler kaldırılabilir. Eğitimin sonlarında ise yerleşmek için genellikle daha küçük hareketler gerekir.
Bir zamanlama, η'yı zaman içinde değiştirir. Isınma, küçük bir öğrenme oranıyla başlar ve asıl zamanlama başlamadan önce onu kademeli olarak artırır.
Bir uçurtma uçururken ipi anında tam gerginliğe çekmezsin. Onun yükselmesine izin verir, rüzgârı hissedersin, sonra uçurtma kararlı hâle gelirken ipi ayarlarsın. Isınma, o yumuşak fırlatıştır. Sonraki zamanlama ise uçurtma uçmaya başladıktan sonra ipi nasıl yöneteceğindir.