高階微分
第一原理からの1変数微分積分
第1微分f′が傾きを教えるなら、傾きの微分は何を教えるか?それが第2微分f″で、傾きがどう変化しているか、つまり曲線の凹凸を測ります。
ただ2回微分するだけです。f(x) = x³なら:まずf′ = 3x²、次にf″ = 6x。さらに続けられる(第3、第4微分)それぞれが前を微分する。
f″の符号が曲線の曲がる方向を教えます。f″ > 0なら曲線は下に凸:ボウルのように上に向かってカップし(∪)、傾きは増加。f″ < 0なら上に凸:ドームのように覆い(∩)、傾きは減少。凹凸が反転する場所が変曲点です。
機械学習における位置づけ第2微分はヘッセ行列の1次元の種で、2次最適化(ニュートン法)と真の最小値を見つけたか確認するために使われるすべての2階微分の表です。凹凸はまさに凸性(次のレッスン):f″ ≥ 0が至る所で成り立つなら単一の大域的最小値と容易な最適化地形を意味します。そして2次の項はテイラー近似の曲率部分です。
▶ 高階微分