Rⁿの臨界点

第一原理からの多変数微分積分

多変数の最適化は1次元とまさに同じところから始まる:傾きがゼロの場所を見つける。しかし今は「傾き」が勾配ベクトル全体なので、臨界点はすべての偏微分が同時にゼロになる場所、∇f = 0です。

これは必要だが十分ではない:ゼロ勾配は最小、最大、サドルを示す。区別するにはヘッセ行列を持ち出し、その固有値の符号を読む、レッスン13の2次テスト。ゼロ勾配が候補を位置づけ;ヘッセが分類する。

起伏のあるゴルフコースを歩き、ボールが静止する平らな場所を探します。丘の上のティー、くぼみにある低いグリーン、そして尾根に沿った平坦なサドル(鞍部)はすべて、地面がどの方向に対しても一時的に平らになる場所です。その平坦さは ∇f = 0 です。ピークにいるか、くぼみにいるか、それともサドルにいるかは、ヘッセ行列が答える別の質問です。

機械学習における位置づけすべての勾配ベースの訓練実行は∇L = 0の探索です:最適化器は勾配が無視できるほど小さくなるまでステップし続ける。サドル点の話(レッスン13)のため、通常見つかるのは「その」大域的最小ではなく、膨大な数のほぼ等価な低損失領域の1つ。勾配降下法が信頼性をもって十分に良いものに着地するのが深層学習の経験的な謎であり成功の大部分。
▶ Rⁿの臨界点
← 計算グラフ凸性 →