模型究竟是如何学习的——从原始梯度下降到Adam
学习率是梯度下降的步长。梯度指出损失上升最快的方向；优化器则朝相反方向移动。学习率 η 决定它移动多远。
太小，训练就爬得很慢。太大，更新就可能跳过有用的区域、来回震荡，甚至发散。很多看起来神秘的优化器问题，追根究底其实首先是步长问题。
皮划艇能说明这种权衡。细碎的划桨能保持控制，但推进得很慢。用力猛划能让船一下冲过河道，之后就得耗费力气去纠正方向。学习率就是划桨的幅度。在下面试试：选一个起点，然后在每次运行之间提高 η，看着稳步前进如何变成过冲和来回震荡。