模型究竟是如何学习的——从原始梯度下降到Adam
一阶方法使用梯度。二阶方法还会使用曲率，通常是通过 Hessian。曲率告诉优化器，随着参数移动，梯度本身是如何变化的。
牛顿法利用这种曲率信息来选择一步，这一步可以直接跳到一个二次函数的最小值。代价是，在现代神经网络中 Hessian 会非常庞大。
起重机操作员要参考载荷表，因为只知道方向是不够的。载荷还会让吊臂弯曲，而这种弯曲会改变什么样的移动是安全的。二阶优化在决定要移动多远之前，读取的是这种弯曲，而不只是拉力。在图中你就是那个操作员：滑动两个曲率，看着曲面变成一个碗、一个圆顶，或者一个鞍面。Hessian 的特征值正是这两个旋钮。