Jacobian 的几何意义
从第一性原理出发的多变量微积分
当 Jacobian 是方阵(n 个输入、n 个输出)时,它的行列式有一个具体的几何作用。在线性代数中,矩阵的行列式表示它缩放体积的倍数。Jacobian 行列式告诉你,一个映射经过某点时,会把空间中的一个微小区域拉伸或压缩多少。
如果 |det J| > 1,输入空间中的小盒子输出后变大,所以映射扩张。如果 |det J| ,它输出后变小,所以映射收缩。如果 det J = 0,盒子被压扁:映射塌缩了一个维度,并且局部不可逆。
在一张有弹性的橡胶薄片上画一个小正方形,然后拉动薄片使网格变形。雅可比行列式就是告诉你在拉伸过程中那个小正方形的面积增加或缩小了多少的那个单独的数字。向两边拉动橡胶,正方形就会膨胀;将它挤压成一条折痕,它的面积就会降为 0。
在机器学习中的应用假设你想把一个简单高斯分布弯成复杂的数据分布。归一化流正是这样做的:它学习一个可逆映射 g,把简单密度变成复杂密度。当 g 拉伸空间时,如果不重新缩放,概率质量就会“漏掉”;因此变量替换公式 p_X(x) = p_Z(g⁻¹(x))·|det J| 使用 Jacobian 行列式来保持总概率等于 1。耦合层、自回归流等 flow 架构都会被设计成让这个 det J 便宜可算。
▶ Jacobian 的几何意义