应用

从第一性原理出发的单变量微积分

Taylor 在机器学习中的真正价值是线性化:在感兴趣的点附近,用切线替代一个难处理的非线性函数。在一个小范围内,线性近似几乎精确,而线性的东西更容易分析、计算和推理。

sigmoid σ(x) = 1/(1 + e⁻ˣ) 是常见的压缩非线性函数。在 x = 0 附近,它经过 ½,斜率为 ¼,所以它的线性近似是:

一张平坦的纸质街道地图把在一个城市附近的圆地球当成一个平面。在几公里范围内,曲率小到无关紧要,所以这张平坦的纸足以用来导航,即使这颗行星实际上是个球体。线性化对函数所做的完全相同:在一个点附近,它把真实曲线换成了切线 f(x) ≈ f(0) + f′(0)·x,在局部足够精确,而且用起来容易得多。

在机器学习中的应用线性化是机器学习中的核心反射动作。小角度和小输入近似简化了激活函数(sigmoid、GELU、softmax)在工作点附近的分析。围绕当前权重线性化网络,会得到神经切线核视角,并支撑我们理解训练动态。每个一阶优化器本质上都在为一步更新信任损失的局部线性模型。
▶ 应用
← 关键 Taylor 级数Rⁿ 中的向量 →