Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
O Adam combina duas ideias: momentum para o gradiente médio, e escalonamento ao estilo RMSProp para o gradiente ao quadrado médio. Depois corrige o viés inicial porque essas médias móveis começam em zero.
Essa combinação torna o Adam uma primeira escolha comum em deep learning, especialmente quando os gradientes são ruidosos e os parâmetros têm escalas muito diferentes.
Um piloto automático pode usar dois instrumentos ao mesmo tempo. Um mostra a direção média de deriva do avião. O outro mostra quão turbulenta essa direção tem sido. O Adam usa a mesma ideia: move-se com a deriva persistente, mas escala o movimento pela turbulência recente. Na figura consegues ver diretamente a metade de momentum do Adam: sobe β e o ricochete desvanece-se. O Adam acrescenta mais um truque por cima, dividindo o passo de cada coordenada pela escala de gradiente recente dessa mesma coordenada.