Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Öğrenme oranı, gradyan inişinin adım boyutudur. Gradyan, kaybın en hızlı hangi yönde arttığını söyler; optimize edici bunun tersi yönde hareket eder. Öğrenme oranı η ne kadar uzağa gideceğine karar verir.
Çok küçük olursa eğitim sürünür. Çok büyük olursa güncelleme yararlı bölgenin üzerinden atlayabilir, sekebilir ya da patlayabilir. Gizemli görünen optimize edici sorunlarının çoğu, aslında öncelikle bir adım boyutu sorunudur.
Bir kayak bu ödünleşmeyi gösterir. Küçük kürek vuruşları kontrolü korur ama ilerlemeyi yavaşlatır. Büyük vuruşlar kayağı kanaldan çıkarabilir ve sonra enerjini düzeltme yaparak harcarsın. Öğrenme oranı, kürek vuruşunun uzunluğudur. Aşağıda dene: bir başlangıç noktası seç, sonra çalıştırmalar arasında η'yı yükselt ve düzenli ilerlemenin nasıl aşırı gitmeye ve sekmeye dönüştüğünü izle.