Phép tính đa biến từ nguyên tắc đầu tiên
Thường thì bạn không muốn điểm thấp nhất ở khắp mọi nơi; bạn muốn điểm thấp nhất có ràng buộc. Cực tiểu hóa hàm mất mát mà vẫn giữ chuẩn của trọng số dưới một giới hạn; cực đại hóa lề mà vẫn phân loại các điểm cho đúng. Nhân tử Lagrange là công cụ tiêu chuẩn để tối ưu hóa dọc theo một đường cong ràng buộc.
Hình ảnh hình học cần nắm: tại điểm tối ưu có ràng buộc, các đường mức của f tiếp xúc với ràng buộc g(x) = 0. Nếu chúng cắt nhau thay vì chạm nhau, bạn vẫn có thể trượt dọc theo ràng buộc để đến một giá trị tốt hơn. Tiếp xúc nghĩa là hai gradient nằm dọc theo cùng một đường, nên chúng song song:
Đại lượng vô hướng λ (nhân tử Lagrange) là hệ số tỷ lệ. Đóng gói cả hai điều kiện vào một đối tượng cho ta hàm Lagrange L = f − λg; đặt ∇L = 0 sẽ khôi phục lại đúng các phương trình ở trên.