模型究竟是如何学习的——从原始梯度下降到Adam
动量给梯度下降赋予了记忆。它不再只用当前这一步的梯度，而是保留最近梯度的移动平均，并朝着这个累积方向迈步。
这在两方面都有帮助：它能平滑带噪声的梯度，也能沿着梯度反复一致的方向积累速度。在一条狭窄的山谷里，左右交替的横向梯度会相互抵消；而在有用的方向上，反复出现的梯度会不断叠加。
保龄球不会忘记上一次的推力。一次推动让它开始滚动，同方向的反复推动会让它越滚越快。小小的侧向碰撞并不会立刻让它掉头。动量让优化的表现不再像一个个孤立的步子，而更像带有惯性的连续运动。你可以在下面亲眼见证：先用 β = 0 跑一次普通下降，再提高 β 重新运行。左右来回的反弹会逐渐消退，路径会沿着山谷积攒速度。