模型究竟是如何学习的——从原始梯度下降到Adam
Adam 和 AdamW 的区别在于如何处理权重衰减。Adam 把 L2 惩罚项混入自适应梯度更新之中；AdamW 则把权重衰减作为一个单独的收缩步骤来执行。
这种分离之所以重要，是因为 Adam 会对每个参数分别重新缩放梯度。如果权重衰减被混进了这些梯度里，正则化的力度也会随参数被不均匀地重新缩放。
想象一家希望书能按时归还的图书馆。每逾期一天收一笔固定罚款，很容易理解：它对每个借书人都一视同仁。而如果把罚款揉进每个借书人各自的会员积分公式里，罚款力度就会变得参差不齐、难以预测。AdamW 就是那笔独立的固定罚款；带耦合 L2 的 Adam，则先把罚款揉进了它按参数运作的机制里。那为什么一开始就要惩罚呢？下面的图给出了答案：模型灵活性越强，训练误差会持续下降，但验证误差最终会开始回升。权重衰减正是留在那个最佳平衡点附近的主要工具之一。