线性近似

从第一性原理出发的多变量微积分

近看时,每个光滑曲面都像是平的,就像地球在你脚下感觉是平的一样。线性近似用刚好接触某点的平坦切平面,替代该点附近弯曲的函数。梯度提供这个平面的倾斜程度。

用文字读就是:新值 ≈ 旧值,加上梯度与你走的步长向量的点积。这个点积就是方向导数乘以步长,是对 f 移动量的最佳线性猜测。

将一张小而平的贴纸按在一个沙滩球上,在它贴上的地方,弯曲的球看起来完美平坦。线性近似就是那张贴纸:一个在一个点接触表面并在附近代表该曲线的平坦切平面。如果在球上走得太远,贴纸就会从表面剥落 — 预测结果就会发生偏离。

在机器学习中的应用一次梯度下降步就是线性近似的实际应用。更新 w ← w − η∇L 假设损失变化可以由线性项 ∇L·δ 很好地预测。当步子太大时,你忽略的曲率(‖δ‖² 项)会反咬一口,损失可能越过目标甚至发散。学习率 η 让你留在“把曲面当平面也足够接近真实”的区域内。
▶ 线性近似
← 方向导数Jacobian 矩阵 →