第一原理からの多変数微分積分
自動微分は1回のバックワードパスで何百万もの導関数を計算できるが、カスタム演算の中のたった1つのバグが、モデル全体に間違った勾配をひっそりと送り込むことがある。勾配チェックは有限差分を使ってそのバグを見つける:知りたい点の両側にわずかな距離hだけ動き、関数がどれだけ変化したかを読み取り、その短い割線の傾きを真の接線の傾きに対する独立した推定値として扱う。
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 有限差分と勾配チェック