Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Öğrenme-oranı bulucu, kısa bir tanı koşusudur. Çok küçük bir öğrenme oranıyla başla, birçok mini-batch boyunca artır ve kaybın nasıl tepki verdiğini izle.
Burada eğitimi bitirmeye çalışmıyorsun; modelin kayıp kararsız hâle gelmeden öğrenmeye başladığı aralığı arıyorsun.
Kamera pozlama braketlemesi aynı fikri kullanır. Çok koyudan çok parlağa bir dizi fotoğraf çeker, sonra ayrıntının net olduğu aralığı seçersin. Bulucu, eğitim adımlarıyla aynısını yapar: η'yı çekingenden pervasıza tarar ve öğrenmenin net hâle geldiği yeri işaretler. Aşağıdaki figürde el yordamıyla bir bulucuyu canlandırabilirsin: küçük bir η ile çalıştır, biraz artır, tekrar çalıştır. Bir yerde düzgün kayma aşırı gidip zıplamaya dönüşür — tarama'nın aradığı patlama sınırı budur.