有限差分與梯度檢驗

從第一性原理出發的多變量微積分

自動微分可以在一次反向傳播中計算出數百萬個導數,但自定義操作中的一個小 bug 就可能悄悄地把錯誤的梯度送進你整個模型。梯度檢驗用有限差分來抓住這類 bug:在你關心的那個點兩側各走一小段距離 h,讀出函數變化了多少,把這條短割線的斜率當作真實切線斜率的一個獨立估計。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 有限差分與梯度檢驗
← 穩定 Softmax 與 Log-Sum-ExpRⁿ 中的臨界點 →