模型究竟是如何学习的——从原始梯度下降到Adam
Adam 结合了两个思路：用于平均梯度的动量，以及 RMSProp 那种用于平均梯度平方的缩放。然后它还会校正早期的偏差，因为这些移动平均都是从零开始的。
这种组合让 Adam 成为深度学习中常见的首选，尤其是在梯度带噪声、参数尺度差异很大的时候。
自动驾驶仪可以同时使用两种仪表。一个显示飞机平均的漂移方向。另一个显示这个方向近来有多颠簸。Adam 用的是同样的思路：沿着持续存在的漂移方向移动，但按最近的颠簸程度来缩放这个移动。在图中，你可以直接观察到 Adam 中动量的那一半：提高 β，反弹就会逐渐消退。Adam 还在此之上叠加了一招：用每个坐标自己最近的梯度尺度除以该坐标的步长。