高階偏微分

第一原理からの多変数微分積分

1次元関数が第2微分を持つように、多変数関数は2階偏微分を持ちます。2回微分する。新しいひねりは、毎回どの変数で微分するかを選べることで、混ぜるときすっきりしたことが起きる。

純粋な2階偏微分∂²f/∂x²と∂²f/∂y²は各軸に沿った曲率を測る。混合偏微分∂²f/∂x∂yはまずyで、次にxで微分する;ある方向の傾きがもう一方の方向に動くとどう変わるかを測る。

1次偏微分は丘の中腹の急勾配を教えてくれます。2次偏微分は、移動するにつれてその急勾配自体がどのように変化しているか、つまり傾斜の曲率を教えてくれます。東に向かって歩いているとき、地面はどんどん急になりますか、それとも平坦になり始めますか?さらに東に進むにつれて生じる東向きの傾斜 ∂f/∂x のその曲がりは、2次偏微分 ∂²f/∂x² であり、その方向に沿った丘の曲率です。

機械学習における位置づけこの対称性が、損失のすべての2階偏微分の行列であるヘッセ行列が対称になる理由です:Hᵢⱼ = ∂²L/∂wᵢ∂wⱼ = ∂²L/∂wⱼ∂wᵢ = Hⱼᵢ。対称行列は実の固有値と直交する固有ベクトルを持ち(線形代数から)、それが損失曲面の曲率をボウル、ドーム、サドルとしてきれいに読み取れるようにする。
▶ 高階偏微分
← 偏微分勾配 →