有限差分与梯度检验

从第一性原理出发的多变量微积分

自动微分可以在一次反向传播中计算出数百万个导数,但自定义操作中的一个小 bug 就可能悄悄地把错误的梯度送进你整个模型。梯度检验用有限差分来抓住这类 bug:在你关心的那个点两侧各走一小段距离 h,读出函数变化了多少,把这条短割线的斜率当作真实切线斜率的一个独立估计。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 有限差分与梯度检验
← 稳定 Softmax 与 Log-Sum-ExpRⁿ 中的临界点 →