Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Adam iki fikri birleştirir: ortalama gradyan için momentum ve ortalama karesi alınmış gradyan için RMSProp tarzı ölçekleme. Sonra bu hareketli ortalamalar sıfırdan başladığı için erken sapmayı düzeltir.
Bu birleşim, Adam'ı derin öğrenmede yaygın bir ilk seçim yapar, özellikle gradyanlar gürültülü olduğunda ve parametreler çok farklı ölçeklere sahip olduğunda.
Bir otomatik pilot aynı anda iki aleti kullanabilir. Biri uçağın ortalama sürüklenme yönünü gösterir. Diğeri o yönün ne kadar türbülanslı olduğunu gösterir. Adam aynı fikri kullanır: kalıcı sürüklenmeyle hareket et, ama hareketi son türbülansa göre ölçekle. Şekilde Adam'ın momentum yarısını doğrudan izleyebilirsin: β'yı yükselt ve sekme kaybolsun. Adam bunun üzerine bir hile daha ekler: her koordinatın adımını, o koordinatın kendi son gradyan ölçeğine böler.