Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
RMSProp, adım boyutunu her parametre için ayrı ayrı uyarlar. Karesi alınmış gradyanların hareketli bir ortalamasını izler, sonra gradyanı bu ortalamanın karekökü ile böler.
Etkisi basittir: sürekli büyük gradyanlara sahip koordinatlar daha küçük etkin adımlar alır; küçük gradyanlara sahip koordinatlar ise göreli olarak daha büyük adımlar alır. Bu, gradyan ölçekleri çok farklılaştığında yardımcı olur.
Farklı ağırlıklarda paket taşıyan fabrika konveyör bantlarını düşün. Her bant aynı ham motor komutuyla hareket ederse, ağır hatlar sarsılabilirken hafif hatlar neredeyse etkilenmez. RMSProp her bandın yükünü izler ve komutu banda göre ölçekler. Aşağıdaki şekil, RMSProp'un savaşmak üzere tasarlandığı geometriyi gösterir: bir koordinatın gradyanlarının diğerininkinden sürekli daha büyük olduğu gerilmiş bir kâse. RMSProp, dik koordinatın adımlarını küçültür ve göreli olarak düz olanınkini büyütür.