模型究竟是如何学习的——从原始梯度下降到Adam
凸损失有一个强大的保证：每一个局部最小值都是全局最小值。这让优化在概念上变得干净利落。许多经典的机器学习目标函数是凸的；深度网络的目标函数通常不是。
凸性依然值得学习，因为它给出了一个参照情形。它告诉你，如果没有糟糕的局部陷阱、没有鞍点带来的麻烦、没有严重的地形意外，优化会是什么样子。
当信号曲面光滑且只有单一峰值时，卫星天线只有一个干净利落的瞄准方向。而揉皱的锡纸有许多微小的反光切面，会在局部各处零星地反光。凸优化更接近那面天线；深度网络训练更接近那团锡纸。下面的图展示了在一条凸曲线上定义性的检验：滑动两个端点，你会注意到它们之间的直线弦永远不会低于曲线本身。