Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
O Adam e o AdamW diferem na forma como lidam com o decaimento de pesos. O Adam mistura uma penalização L2 na atualização adaptativa do gradiente. O AdamW aplica o decaimento de pesos como um passo de redução separado.
Essa separação importa porque o Adam reescala os gradientes por parâmetro. Se o decaimento de pesos é misturado nesses gradientes, a regularização também é reescalada de uma forma dependente do parâmetro.
Pensa numa biblioteca que quer livros devolvidos a tempo. Uma multa fixa por dia de atraso é fácil de compreender: aplica-se da mesma forma a todos os leitores. Incorporar a multa na fórmula de sócio personalizada de cada leitor torna a penalização desigual e difícil de prever. O AdamW é a multa fixa e separada; o Adam com L2 acoplado incorpora primeiro a penalização na sua maquinaria por parâmetro. E porquê penalizar sequer? A figura tem a resposta: uma flexibilidade crescente continua a reduzir o erro de treino enquanto o erro de validação acaba por virar para cima. O decaimento de pesos é uma das principais ferramentas para permanecer perto do ponto ótimo.