臨界点

第一原理からの1変数微分積分

関数のピークとバレー(極大と極小)を見つけるには、平らな場所を探します。丘の頂上や谷の底では接線が水平なので、傾きはゼロです。それらが臨界点です。

f′(x) = 0を解いて候補位置を得ます。これは滑らかなピークやバレーの必要条件ですが、十分ではありません、平らな場所が一時的な停止(サドルのような変曲)の可能性もあるからです。テストで確認します。

なだらかな丘を越えるハイキングを想像してください。丘の頂上に向かって登るにつれて、ブーツの下の地面は上向きに傾きます。谷に向かって下りるにつれて、地面は反対方向に傾きます。丘の頂上の真上、または谷底の最も低い場所では、地面は瞬間的に 平ら になり、傾きはゼロになります。それらの平らな場所こそが、あなたが探している臨界点(停留点)です。

機械学習における位置づけモデルの訓練は損失を最小化することで、最小値は勾配がゼロのところにあります:まさに臨界点条件を多変数に一般化したもの(∇L = 0)。勾配降下法はその平らな場所を探す数値的探索です。高次元では、ほとんどの臨界点は真の最小値ではなくサドル点で、これが深層学習の最適化が微妙な理由です:平らな場所の条件だけでは勝ったとは分からない。
▶ 臨界点
← 高階微分第2微分テスト →