Meervariabelecalculus vanuit eerste principes
Vaak wil je niet het laagste punt overal; je wilt het laagste punt onder een randvoorwaarde. Minimaliseer het verlies terwijl je de norm van de gewichten begrensd houdt; maximaliseer de marge terwijl punten correct geclassificeerd blijven. Lagrange-multiplicatoren zijn het standaardgereedschap om langs een randvoorwaardenkromme te optimaliseren.
De meetkunde om vast te houden: in het beperkte optimum zijn de niveaukrommen van f raaklijnig aan de randvoorwaarde g(x) = 0. Als ze elkaar zouden kruisen in plaats van raken, dan zou je langs de randvoorwaarde naar een betere waarde kunnen schuiven. Raken betekent dat de twee gradiënten langs dezelfde lijn wijzen, dus zijn ze parallel:
De scalair λ (de Lagrange-multiplicator) is de evenredigheidsfactor. Het verpakken van beide voorwaarden in één object geeft de Lagrangiaan L = f − λg; door ∇L = 0 te stellen krijg je precies de bovenstaande vergelijkingen terug.