从第一性原理出发的单变量微积分
Taylor 在机器学习中的真正价值是线性化:在感兴趣的点附近,用切线替代一个难处理的非线性函数。在一个小范围内,线性近似几乎精确,而线性的东西更容易分析、计算和推理。
sigmoid σ(x) = 1/(1 + e⁻ˣ) 是常见的压缩非线性函数。在 x = 0 附近,它经过 ½,斜率为 ¼,所以它的线性近似是:
一张平坦的纸质街道地图把在一个城市附近的圆地球当成一个平面。在几公里范围内,曲率小到无关紧要,所以这张平坦的纸足以用来导航,即使这颗行星实际上是个球体。线性化对函数所做的完全相同:在一个点附近,它把真实曲线换成了切线 f(x) ≈ f(0) + f′(0)·x,在局部足够精确,而且用起来容易得多。