模型究竟是如何学习的——从原始梯度下降到Adam
固定不变的学习率很少能贯穿整个训练过程都是最优的。训练早期通常可以承受较大的移动，因为参数离有用的设定还很远。训练后期则往往需要较小的移动才能稳定下来。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.