Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Optimizer tanılaması, eğitim tarifini değiştirmeden önce eğitim koşusunu okumak demektir. Bir kayıp eğrisi, bir gradyan normu ve bir doğrulama eğrisi, çoğu zaman sorunun adım büyüklüğü, veri, ölçek, aşırı uyum ya da gerçek bir modelleme sınırı olup olmadığını sana söyler.
Bu bir tahmin oyunu değil. Her başarısızlık deseninin tipik bir şekli vardır: patlayan kayıp, düz kayıp, gürültülü ama iyileşen kayıp, eğitim kaybı düşerken doğrulama kaybının yükselmesi ya da ani NaN değerleri.
Akvaryum test şeritleri burada yararlı bir tablo sunar. Bulanık suyu rastgele kimyasallar dökerek düzeltmezsin. Önce pH, amonyak ve nitratı test edersin, sonra gerçekten kötü olan ölçümü tedavi edersin. Optimizer tanılaması eğitim için aynısını yapar: önce ölç, sonra ölçümün işaret ettiği şeyi değiştir. Gözünü kalibre etmek için figürü kullan. Bir kez sağlıklı bir inişte çalıştır, sonra η'yı yükselt ve kararsız, zıplayan deseni istediğin zaman yeniden üret.