方向微分

第一原理からの多変数微分積分

偏微分は座標軸に沿った傾きしか教えないが、任意の方向に歩ける。方向微分D_u fは答える:単位ベクトルuに沿ってステップすると、fはどれだけ速く変わるか?答えは勾配との単一の内積です。

同じ丘をハイキングすることを想像してみてください。しかし、まっすぐ上を向くのではなく、北東などのコンパスの方位を選び、その方向に歩きます。方向微分 D_u f は、その方向に沿ってブーツの下で実際に感じる傾斜です。最も急な方向に向かうと完全な登りを感じ、丘の中腹に沿って横向きになると地面は平らに感じます。

D_u f = ∇f·u = ‖∇f‖‖u‖cos θ = ‖∇f‖cos θ(uは単位ベクトルなので)だから、変化率はcos θ = 1のとき、つまりuが∇fに沿って向くとき最大になる。下の方向矢印を回して、勾配に整列したとき傾きの読みがピークに、垂直のときゼロになる様子を見てください。

機械学習における位置づけこれが勾配降下法を正当化する定理です。ステップできるすべての方向の中で、−∇Lが証明可能に最も速く損失を減らす。だから訓練が他の方向ではなく勾配に沿ってステップする理由を疑問に思ったら、これが答え:勾配が最善の局所選択で、だからw ← w − η∇Lが普遍的な更新。
▶ 方向微分
← 勾配線形近似 →