制約付き最適化

第一原理からの多変数微分積分

多くの場合、至る所での最低点ではなく、制約の下での最低点が欲しい。重みノルムを制限しながら損失を最小化；点が正しく分類されたままマージンを最大化。ラグランジュ乗数は制約曲線に沿って最適化する標準ツールです。

保持すべき幾何：制約付き最適点で、fの等高線は制約g(x) = 0に接する。交わるなら制約に沿ってより良い値に滑れる。接することは2つの勾配が同じ直線上に向く、つまり平行であることを意味する：

スカラーλ（ラグランジュ乗数）が比例定数です。両条件を1つの対象にまとめるとラグランジアンL = f − λg；∇L = 0を設定すると上の方程式が正確に回復する。