调度与预热

模型究竟是如何学习的——从原始梯度下降到Adam

固定不变的学习率很少能贯穿整个训练过程都是最优的。训练早期通常可以承受较大的移动，因为参数离有用的设定还很远。训练后期则往往需要较小的移动才能稳定下来。

调度会让 η 随时间变化。预热在主调度开始之前，先用一个很小的学习率起步，再逐步增大。

放风筝的时候，你不会一下子把线扯到全紧。你先让它升起来，感受风力，再随着它稳定下来调整线。预热就是那个温和的起飞过程。之后的调度，则是风筝飞起来之后你如何管理这根线。