Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
O Adam combina duas ideias: momentum para o gradiente médio, e escalonamento estilo RMSProp para o gradiente ao quadrado médio. Depois ele corrige o viés inicial porque essas médias móveis começam em zero.
Essa combinação faz do Adam uma escolha inicial comum em deep learning, especialmente quando os gradientes são ruidosos e os parâmetros têm escalas muito diferentes.
Um piloto automático pode usar dois instrumentos ao mesmo tempo. Um mostra a direção média de deriva do avião. O outro mostra o quão turbulenta essa direção tem sido. O Adam usa a mesma ideia: mover-se com a deriva persistente, mas escalar o movimento pela turbulência recente. Na figura você pode observar diretamente a metade de momentum do Adam: aumente β e o ricochete desaparece. O Adam acrescenta mais um truque por cima, dividindo o passo de cada coordenada pela escala recente do gradiente daquela própria coordenada.