Cálculo multivariable desde primeros principios
A menudo no quieres el punto más bajo en todas partes; quieres el punto más bajo sujeto a una restricción. Minimiza la pérdida mientras mantienes la norma del peso acotada; maximiza la margen mientras los puntos permanecen correctamente clasificados. Multiplicadores de Lagrange son la herramienta estándar para optimizar a lo largo de una curva de restricción.
La geometría que debes recordar: en el óptimo restringido, las líneas de nivel de f están tangentes a la restricción g(x) = 0. Si se cruzaran en lugar de tocar, podrías deslizarte a lo largo de la restricción para obtener un valor mejor. La tangencia significa que los dos gradientes apuntan a lo largo de la misma línea, por lo que son paralelos:
El escalar λ (el multiplicador de Lagrange) es el factor de proporcionalidad. Empacar ambas condiciones en un objeto da la Lagrangiana L = f − λg; establecer ∇L = 0 recupera exactamente las ecuaciones anteriores.