Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Adam e AdamW diferem na forma como lidam com o weight decay. O Adam mistura uma penalidade L2 na atualização adaptativa do gradiente. O AdamW aplica o weight decay como um passo de encolhimento separado.
Essa separação importa porque o Adam reescala os gradientes por parâmetro. Se o weight decay é misturado a esses gradientes, a regularização também é reescalada de um jeito que depende do parâmetro.
Pense numa biblioteca que quer os livros devolvidos no prazo. Uma multa fixa por dia de atraso é fácil de entender: ela vale igual para todo mundo. Já embutir a multa na fórmula personalizada de associação de cada leitor torna a penalidade desigual e difícil de prever. O AdamW é a multa fixa e separada; o Adam com L2 acoplado embute a penalidade primeiro na sua maquinaria por parâmetro. E por que penalizar, afinal? A figura tem a resposta: mais flexibilidade continua reduzindo o erro de treino enquanto o erro de validação eventualmente vira para cima. O weight decay é uma das principais ferramentas para ficar perto do ponto ótimo.