极限

从第一性原理出发的单变量微积分

极限回答一个谨慎的问题:当输入越来越接近某个值 a 时,输出会趋近哪个数?关键是,a 处发生什么并不重要;函数甚至可能在那里没有定义。极限关心的是接近过程,不是目的地本身。

在图中把输入拖向 a,观察输出如何稳定到某个值 L,即使函数在那里有一个小孔、没有自己的值。

你可以从左侧接近 a(输入略小于 a),也可以从右侧接近(略大于 a)。这就是两个单侧极限。完整的(双侧)极限只有在两边都趋向同一个数时才存在。如果左边趋向一个值,右边趋向另一个值,就出现跳跃,极限不存在。

在机器学习中的应用极限是导数(斜率的极限)和积分(和的极限)的基础,而这两者是训练的两个引擎。它们也形式化了“收敛”的含义:训练损失趋向它的下限就是一个极限。你在这里学会化解的 0/0 陷阱,正是实践中会咬人的数值稳定性问题(例如安全地计算 log-softmax)。
▶ 极限
← 读函数图像连续性 →