Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Bir optimizer laboratuvarı, optimizerları kontrollü koşullar altında karşılaştırır. Aynı model, veri, parti boyutu, program bütçesi ve tohum planıyla çalıştır, sonra yalnızca optimizeri ya da bir optimizer ayarını değiştir.
Bu kontrol olmadan optimizer karşılaştırmaları hikâyeye dönüşür. Daha hızlı bir koşu daha iyi bir öğrenme oranı, farklı bir program ya da daha şanslı bir tohum kullanmış olabilir.
Bir pist test günü bunun için kuralları vardır. İki arabayı karşılaştırırken pisti, lastikleri, yakıt yükünü ve havayı mümkün olduğunca kontrollü tutarsın. Aksi hâlde arabanın mı daha hızlı olduğunu, yoksa koşulların mı daha kolay olduğunu anlayamazsın. Aşağıdaki figür minyatür bir laboratuvar tezgâhıdır: her koşuda aynı gerilmiş yüzey, değişkenlerin ise η, β ve κ. Tam olarak birini değiştir, çalıştır ve yolları karşılaştır. Bu, bu dersin tüm disiplinini tek bir bileşende özetler.