凸性

从第一性原理出发的单变量微积分

凸性是让优化变容易的形状。凸函数处处像碗一样向上开,而这一个性质就让最小化变得简单:它恰好有一个最低点,任何下坡路径都会直接通向它。

凸性有三种等价的观察方式。第一,二阶导数处处非负:f″(x) ≥ 0。第二,曲线凹向上,从不向下弯。第三,也是定义图像:任意两点之间的弦都位于曲线之上。

想象一个平滑的山谷,或者一个碗的内部,并在这个山谷沿途任意丢下一颗弹珠。不管它从哪里开始,弹珠总是滚到那个唯一的最低点并停在那里。这正是凸性带给你的:一个山谷,没有假底部,因此任何向下的路径都会指向那唯一真正的极小值。

在机器学习中的应用凸性是机器学习中的分界线。线性/逻辑回归和 SVM 有凸损失:一个全局最小值,训练可靠且可复现。深度网络 的损失则极度非凸,有无数局部最小值和鞍点,这就是为什么不同随机初始化会落到不同解、为什么学习率如此重要、为什么不存在唯一的“那个”最优点。知道损失是否凸,告诉你应该多信任优化器。
▶ 凸性
← 二阶导数测试梯度下降预览 →