第2微分テスト

第一原理からの1変数微分積分

臨界点(f′ = 0の場所)を見つけたら、ピークかバレーかを素早く判定する方法があります。両側の符号をチェックするより速い。そこでの凹凸を第2微分で見るだけです。

論理は単純です。平らな場所で、曲線が上にカップしていれば(下に凸)、ボウルの底にいるはずで、最小値。下に覆っていれば(上に凸)、ドームの頂上で、最大値。

曲面の平らな場所にビー玉を置き、少量の水を注ぐことを想像してください。ボウル は水を保持し、ビー玉を底に抱え込みます。それは最小値であり、上に向かって丸みを帯びています。ドーム は水を弾き落とし、ビー玉を頂上から転がり落とさせます。それは最大値であり、下に向かって覆いかぶさっています。二次導関数は、あなたがどの形の上に立っているかを単に教えてくれます。

機械学習における位置づけこれは多変数最適化のヘッセテストに直接一般化される:勾配がゼロの点で、正定値ヘッセ(すべての固有値 > 0、f″ > 0の行列版)は最小値を示す;負定値は最大値;混合符号はサドルを示す。ヘッセの固有値をチェックすることは、まさにこの1次元テストを実際のモデルの損失曲面に拡大したもの。
▶ 第2微分テスト
← 臨界点凸性 →