临界点
从第一性原理出发的单变量微积分
要寻找函数的峰和谷(它的最大值和最小值),你要寻找平坦的位置。在山顶或谷底,切线是水平的,所以斜率为零。这些点叫临界点。
令 f′(x) = 0 并求解,可以得到候选位置。这是光滑峰或谷的必要条件,但还不够充分,因为平坦位置也可能只是短暂停顿(类似鞍点的拐点)。你需要用测试来确认它是哪一种。
想象一下在连绵起伏的群山中徒步。当你向山顶攀登时,靴子下的地面向上倾斜;当你下行进入山谷时,它向另一个方向倾斜。就在山顶的最高处,或者谷底的最低点,地面瞬间是平坦的,斜率为零。那些平坦的地点正是你所寻找的临界点。
在机器学习中的应用训练模型就是最小化损失,最小值位于梯度为零的位置:这正是临界点条件推广到多变量后的形式(∇L = 0)。梯度下降是在数值上寻找这个平坦点。在高维中,大多数临界点是鞍点而不是真正的最小值,这就是深度学习优化很微妙的原因:仅凭平坦点条件并不能说明你已经赢了。
▶ 临界点