可导性

从第一性原理出发的单变量微积分

如果一个函数在某点有单一、定义清楚的斜率——也就是一条没有歧义的切线——它在该点就是可导的。大多数光滑曲线处处可导。但有些函数虽然完全连续,却在某个位置无法确定斜率。理解导数在哪里失败,和计算导数一样重要。

如果函数在某点有斜率,它不可能在那里跳跃,所以可导 ⇒ 连续。反过来是假的:函数可以连续(不用抬笔就能画出),但仍然在某点没有斜率。“连续”和“可导”之间的差距正是有趣之处。

绝对值函数 |x| 是标准例子。它处处连续,在 0 处没有断裂。但就在这个尖角处,从左边来的斜率是 −1,从右边离开的斜率是 +1。两个不同斜率在尖点相遇,所以没有唯一切线。导数在 x = 0 处不存在。

在机器学习中的应用ReLU 是最常见的激活函数,字面上就是 max(0, x):在 0 处有一个尖角,就像 |x|。它在 0 处导数未定义,所以框架会直接选一个值(通常是 0),称为“次梯度”。ReLU 的尖角、L1 正则化的折点、hinge loss 的非光滑性,都是这个问题出现并用次梯度处理的地方。
▶ 可导性
← 导数基本求导规则 →