偏导数
从第一性原理出发的多变量微积分
多变量微积分的大部分内容都靠一个想法支撑:对多变量函数求导时,一次只改变一个变量,把其他变量全部冻结。保持 y 不变,只晃动 x,问 f 如何响应。这个变化率就是偏导数 ∂f/∂x。
弯曲的符号 ∂(“偏”)是唯一的新记号。其他都只是课程 I 中的求导法则(幂法则、乘积法则、链式法则),只不过把冻结的变量当作常数。
站在山坡上,你感受到的坡度取决于你面向的方向。固定南北位置并向正东走,脚下的陡峭程度就是偏导数 ∂f/∂x。转身改向正北走,固定东西位置,你会感受到不同的坡度 ∂f/∂y。每个偏导数都冻结一个方向并报告沿另一个方向的上升或下降。
在机器学习中的应用想象冻结网络中除一个权重外的所有权重,然后问当你轻微推动这个单个权重时损失如何变化。答案就是偏导数 ∂L/∂wᵢ:它的符号告诉你往哪个方向推权重可以降低损失,它的大小告诉你损失对该权重有多敏感。每个权重收集一个偏导数,就得到梯度;接下来的几课会把它组装起来。
▶ 偏导数