模型究竟是如何学习的——从原始梯度下降到Adam
损失地形指的是 L(θ) 在参数空间上的形状。对神经网络来说，这个形状是高维且非凸的：它有大片平坦的区域，也有陡峭弯曲的区域；有一些鞍点，在某些方向上升，在另一些方向下降；还有许多彼此分离、但常常又相互连通的低损失区域。
你无法直接把真实的地形画出来，但你可以推理它的局部几何：梯度、曲率、噪声，以及不同优化器如何在其中移动。
经过强风吹拂后的沙丘地带，有大片平坦的斑块，也有锋利的脊线，还有从一个方向看起来是平的、从另一个方向看却是有坡度的路径。损失地形也有同样的问题：局部形状取决于方向。你可以在下面的图中亲手构造出这种最重要的形状：滑动两个曲率，直到一个为正、一个为负。那就是一个鞍：沿一条线是平的，沿另一条线是有坡度的，而这正是在高维地形中占主导地位的那种驻点。