Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
O RMSProp adapta o tamanho do passo separadamente para cada parâmetro. Mantém uma média móvel dos gradientes ao quadrado, depois divide o gradiente pela raiz dessa média.
O efeito é simples: coordenadas com gradientes consistentemente grandes obtêm passos efetivos menores; coordenadas com gradientes pequenos obtêm passos relativamente maiores. Isto ajuda quando as escalas de gradiente diferem muito.
Imagina tapetes rolantes de fábrica a transportar pacotes de pesos diferentes. Se todos os tapetes se movem com o mesmo comando de motor bruto, as linhas pesadas podem sacudir enquanto as linhas leves mal se notam. O RMSProp observa a carga de cada tapete e escala o comando por tapete. A figura abaixo mostra a geometria que o RMSProp foi construído para combater: uma tigela esticada onde os gradientes de uma coordenada correm consistentemente maiores do que os da outra. O RMSProp encolhe os passos da coordenada acentuada e, relativamente, reforça os da plana.