Mehrdimensionale Analysis aus ersten Prinzipien
Oft willst du nicht den überall tiefsten Punkt, sondern den tiefsten Punkt unter einer Nebenbedingung. Minimiere den Verlust, während die Gewichtsnorm beschränkt bleibt; maximiere den Abstand, während die Punkte korrekt klassifiziert bleiben. Lagrange-Multiplikatoren sind das Standardwerkzeug zur Optimierung entlang einer Nebenbedingungskurve.
Die Geometrie, die du im Kopf behalten solltest: Am eingeschränkten Optimum sind die Niveaulinien von f tangential zur Nebenbedingung g(x) = 0. Würden sie sich kreuzen, statt sich zu berühren, könntest du entlang der Nebenbedingung zu einem besseren Wert gleiten. Tangentialität bedeutet, dass die beiden Gradienten in dieselbe Richtung weisen, also parallel sind:
Der Skalar λ (der Lagrange-Multiplikator) ist der Proportionalitätsfaktor. Verpackt man beide Bedingungen in ein einziges Objekt, erhält man die Lagrange-Funktion L = f − λg; setzt man ∇L = 0, erhält man genau die Gleichungen von oben zurück.