二阶导数测试
从第一性原理出发的单变量微积分
一旦你找到了临界点(即 f′ = 0 的地方),就有一种快速判断它是峰还是谷的方法,比检查两侧符号更快。只需用二阶导数查看那里的凹凸性。
逻辑很简单。在一个平坦点,如果曲线向上开(凹向上),你必定在碗底,也就是最小值。如果曲线向下盖(凹向下),你就在穹顶顶部,也就是最大值。
想象一下把一颗弹珠放在弯曲表面上一个平坦的地方,然后倒一点水。一个碗能装水并且把弹珠托在底部,那是一个极小值,向上凹。一个圆顶会把水排走并且让弹珠从顶部滚落,那是一个极大值,向下凸。二阶导数只是告诉你你正站在哪种形状上。
在机器学习中的应用这会直接推广到多变量优化中的 Hessian 测试:在梯度为零的点,正定 Hessian(所有特征值 > 0,即矩阵版的 f″ > 0)表示最小值;负定表示最大值;符号混合表示鞍点。检查 Hessian 的特征值,就是把这个一维测试扩展到真实模型的损失曲面上。
▶ 二阶导数测试