Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
Adam y AdamW difieren en cómo manejan la decadencia de pesos. Adam mezcla una penalización L2 dentro de la actualización adaptativa del gradiente. AdamW aplica la decadencia de pesos como un paso de reducción separado.
Esa separación importa porque Adam reescala los gradientes por parámetro. Si la decadencia de pesos se mezcla en esos gradientes, la regularización también se reescala de una forma que depende del parámetro.
Piensa en una biblioteca que quiere que los libros se devuelvan a tiempo. Una multa fija por cada día de retraso es fácil de razonar: se aplica igual a todos los prestatarios. Meter la multa dentro de la fórmula de membresía personalizada de cada prestatario hace que la penalización sea desigual y difícil de predecir. AdamW es la multa fija y separada; Adam con L2 acoplada mete primero la penalización dentro de su maquinaria propia de cada parámetro. ¿Y por qué penalizar siquiera? La figura tiene la respuesta: una flexibilidad creciente sigue bajando el error de entrenamiento mientras que el error de validación acaba subiendo. La decadencia de pesos es una de las principales herramientas para mantenerse cerca del punto óptimo.