Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
O RMSProp adapta o tamanho do passo separadamente para cada parâmetro. Ele acompanha uma média móvel dos gradientes ao quadrado, depois divide o gradiente pela raiz dessa média.
O efeito é simples: coordenadas com gradientes consistentemente grandes recebem passos efetivos menores; coordenadas com gradientes pequenos recebem passos relativamente maiores. Isso ajuda quando as escalas de gradiente variam muito.
Imagine esteiras de fábrica carregando pacotes de pesos diferentes. Se todas as esteiras se movem com o mesmo comando bruto do motor, as linhas pesadas podem sacudir enquanto as leves quase não importam. O RMSProp observa a carga de cada esteira e escala o comando esteira por esteira. A figura abaixo mostra a geometria que o RMSProp foi feito para combater: uma tigela esticada onde os gradientes de uma coordenada rodam consistentemente maiores do que os da outra. O RMSProp encolhe os passos da coordenada íngreme e, relativamente, reforça os da coordenada plana.