Kalkulus multivariabel dari prinsip pertama
Sering Anda tidak ingin titik terendah di mana-mana; Anda ingin titik terendah tunduk pada kendala. Minimalkan loss sambil menjaga norm bobot terbatas; maksimalkan margin sambil titik tetap terklasifikasi benar. Pengganda Lagrange adalah alat standar untuk optimisasi sepanjang kurva kendala.
Geometri yang dipegang: di optimum terkendala, kurva level f menyinggung kendala g(x) = 0. Jika mereka berpotongan bukan menyentuh, Anda bisa meluncur sepanjang kendala ke nilai lebih baik. Ketangenan berarti dua gradien menunjuk sepanjang garis yang sama, jadi sejajar:
Skalar λ (pengganda Lagrange) adalah faktor proporsionalitas. Mengemas kedua syarat menjadi satu objek member Lagrangian L = f − λg; menyetel ∇L = 0 memulihkan persis persamaan di atas.