Analiza wielowymiarowa od pierwszych zasad
Często nie zależy Ci po prostu na globalnie najniższym punkcie; szukasz najniższego punktu przy pewnym ograniczeniu. Zminimalizuj stratę, utrzymując normę wag w określonych granicach; zmaksymalizuj margines, dbając o poprawną klasyfikację punktów. Mnożniki Lagrange'a to standardowe narzędzie do optymalizacji wzdłuż krzywej ograniczenia.
Wizualizacja, którą warto zapamiętać: w ograniczonym optimum poziomice funkcji f są styczne do krzywej ograniczenia g(x) = 0. Gdyby się przecinały zamiast się tylko stykać, mógłbyś przesunąć się wzdłuż ograniczenia, zyskując lepszą wartość. Styczność oznacza, że oba gradienty leżą wzdłuż tej samej prostej, a więc są do siebie równoległe:
Skalar λ (mnożnik Lagrange'a) to współczynnik proporcjonalności. Zapakowanie obu warunków w jeden obiekt daje lagranżjan L = f − λg; przyrównanie ∇L = 0 odtwarza dokładnie powyższe równania.