Условная оптимизация — Математический анализ II

Часто нужна не низшая точка везде, а низшая точка при ограничении. Минимизировать потерю, держа норму весов ограниченной; максимизировать отступ, пока точки правильно классифицированы. Множители Лагранжа — стандартный инструмент для оптимизации вдоль кривой ограничения.

Геометрия: в условном оптимуме линии уровня f касаются ограничения g(x) = 0. Если бы они пересекались, можно было бы скользить вдоль ограничения к лучшему значению. Касание значит, что два градиента на одной прямой, параллельны:

Скаляр λ (множитель Лагранжа) — коэффициент пропорциональности. Упаковка обоих условий в один объект даёт лагранжиан L = f − λg; приравнивание ∇L = 0 восстанавливает уравнения выше.

Где это встречается в MLУсловная оптимизация повсюду в ML. Метод опорных векторов максимизирует отступ при ограничениях классификации, и двойственная задача строится из множителей Лагранжа (через условия KKT — расширение для неравенств). Ограниченные нормы весов, доверительные области в RL и проецируемый градиент — всё восходит к «∇f параллелен ∇g». Множитель λ — то же, что штрафной вес, который часто добавляют к потере.