חשבון דיפרנציאלי ואינטגרלי רב־משתני מיסודות ראשונים
לעיתים אנחנו לא מחפשים את הנקודה הנמוכה ביותר בכל מקום; אנחנו מחפשים את הנקודה הנמוכה ביותר בכפוף לאילוץ. למזער הפסד תוך שמירה על נורמת המשקלים חסומה; למקסם מרווח תוך שמירה שהנקודות נשארות מסווגות נכון. כופלי לגראנז' הם הכלי הסטנדרטי לאופטימיזציה לאורך עקומת אילוץ.
הגאומטריה שכדאי לזכור: באופטימום המאולץ, עקומות הרמה של f משיקות לאילוץ g(x) = 0. אילו היו חותכות אותו במקום לגעת בו, היה אפשר להחליק לאורך האילוץ אל ערך טוב יותר. השקה פירושה ששני הגרדיאנטים מצביעים לאורך אותו קו, ולכן הם מקבילים:
הסקלר λ (כופל לגראנז') הוא מקדם הפרופורציה. אריזת שני התנאים לאובייקט יחיד נותנת את הלגראנז'יאן L = f − λg; הצבת ∇L = 0 משחזרת בדיוק את המשוואות שלמעלה.