Rⁿ 中的极限与连续性

从第一性原理出发的多变量微积分

在直线上,你只能从左右两侧靠近一个点。在平面以及更高维空间中,你可以沿无限多个方向、任意路径靠近一个点。这个额外自由度让 Rⁿ 中的极限真正变难;这一课更像是提醒,而不是公式流程。

函数 f 在点 p 处有极限 L,只有当你沿任何路径进入时,它都趋向同一个 L。如果两条不同路径给出两个不同答案,极限就根本不存在。

你同意在广场中央的一个喷泉处与朋友见面。你可以从北入口、东小巷或穿过广场的任何蜿蜒对角线走向它,但你最终必须到达同一个喷泉。Rⁿ 中的极限要求的正是这一点:无论你走哪条路径,该函数都必须趋向于一个值。如果两条路径所到达的位置不一致,则没有会合点,并且极限不存在。

在机器学习中的应用基于梯度的训练之所以有效,是因为深度学习中的几乎所有函数都是连续的:一个很小的权重扰动会产生很小的损失变化,因此梯度有意义。著名例外是 ReLU,max(0, x),它处处连续,但在 0 处有一个尖点,导数发生跳变。光滑景观是梯度下降依赖的规律;当它在尖点处破裂时,优化会转而使用次梯度。
▶ Rⁿ 中的极限与连续性
← 函数 f: Rⁿ → Rᵐ偏导数 →