Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Hiperparametreler, öğrenilen parametrelerin dışında belirlenen eğitim seçimleridir: öğrenme oranı, parti boyutu, ağırlık azalımı, warmup uzunluğu, dropout, model genişliği ve daha birçoğu.
Hiperparametre araması, kendini kandırmadan yapılandırmalar denemek sürecidir. Amaç şanslı bir koşu bulmak değildir. Amaç, doğrulama verisinde güvenilir bir şekilde işleyen bir ayar bulmaktır.
Boya örnek kartları, arama fikrini somutlaştırır. Her olası renk için tüm odayı yeniden boyamazsın. Yapılandırılmış bir örnek kümesini test edersin, aralığı daraltırsın, sonra doğru ışık altında en umut verici tonları denersin. Hiperparametre araması, eğitim seçimlerini aynı şekilde daraltır. Aşağıdaki figür her örneği puanlayan makineyi gösterir: dönen doğrulama katmanları, böylece her aday ayar hiç eğitilmediği veri üzerinde yargılanır. O dürüst puanlama, bir aramayı şanslı bir koşudan ayıran şeydir.