高阶导数
从第一性原理出发的单变量微积分
如果一阶导数 f′ 告诉你斜率,那么斜率的导数告诉你什么?那就是二阶导数 f″,它衡量斜率如何变化,也就是曲线的凹凸性。
只需求两次导。对于 f(x) = x³:先得到 f′ = 3x²,再得到 f″ = 6x。你还可以继续求下去(三阶、四阶导数),每次都对上一个导数求导。
f″ 的符号告诉你曲线向哪边弯。如果 f″ > 0,曲线凹向上:像碗一样向上开(∪),斜率在增加。如果 f″ < 0,曲线凹向下:像穹顶一样向下盖(∩),斜率在减少。凹凸性翻转的位置叫拐点。
在机器学习中的应用二阶导数是一维版 Hessian 矩阵的种子,Hessian 是所有二阶导数组成的表,用于二阶优化(牛顿法)以及检查你是否真的找到了极小值。凹凸性正是凸性(后面课程):f″ ≥ 0 处处成立意味着单一全局最小值和容易优化的地形。二阶项也是 Taylor 近似中的曲率部分。
▶ 高阶导数