モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
RMSPropはパラメータごとに個別にステップサイズを適応させる。二乗した勾配の移動平均を追跡し、その平均の平方根で勾配を割る。
その効果はシンプルだ。勾配が一貫して大きい座標は実効的なステップが小さくなり、勾配が小さい座標は相対的に大きなステップになる。これは勾配のスケールが座標ごとに大きく異なるときに役立つ。
重さの異なる荷物を運ぶ工場のベルトコンベアを想像してほしい。すべてのベルトが同じ生のモーター指令で動くなら、重い列は激しく揺れ、軽い列はほとんど動かないかもしれない。RMSPropは各ベルトの荷を見て、ベルトごとに指令をスケールする。下の図はRMSPropが対抗するように作られた幾何を示している。ある座標の勾配がもう一方より一貫して大きい、引き伸ばされたボウルだ。RMSPropは急な座標のステップを縮め、相対的に平らな座標のステップを大きくする。