Calcolo multivariabile dai primi principi
Spesso non vuoi il punto più basso ovunque; vuoi il punto più basso soggetto a un vincolo. Minimizza la loss mantenendo la norma dei pesi limitata; massimizza il margine mentre i punti restano correttamente classificati. I moltiplicatori di Lagrange sono lo strumento standard per ottimizzare lungo una curva di vincolo.
La geometria da tenere a mente: all'ottimo vincolato, le curve di livello di f sono tangenti al vincolo g(x) = 0. Se si incrociassero anziché toccarsi, potresti scivolare lungo il vincolo verso un valore migliore. La tangenza significa che i due gradienti puntano lungo la stessa retta, quindi sono paralleli:
Lo scalare λ (il moltiplicatore di Lagrange) è il fattore di proporzionalità. Impacchettare entrambe le condizioni in un oggetto dà il Lagrangiano L = f − λg; porre ∇L = 0 recupera esattamente le equazioni sopra.