التحسين المقيَّد — التفاضل والتكامل II

التفاضل والتكامل متعدد المتغيرات من المبادئ الأولى

في كثير من الأحيان لا تريد أدنى نقطة في كل مكان؛ بل تريد أدنى نقطة خاضعة لقيد. قلّل الخسارة مع إبقاء معيار الأوزان محدوداً؛ أو عظّم الهامش مع بقاء النقاط مصنَّفة بشكل صحيح. مضاعِفات لاغرانج هي الأداة المعيارية للتحسين على امتداد منحنى قيد.

الهندسة التي يجب التمسّك بها: عند النقطة المثلى المقيَّدة، تكون منحنيات المستوى للدالة f مماسّة للقيد g(x) = 0. ولو تقاطعت بدلاً من أن تتلامس، لأمكنك الانزلاق على امتداد القيد إلى قيمة أفضل. والتماس يعني أن التدرجين يشيران على امتداد المستقيم نفسه، أي أنهما متوازيان:

الكمية القياسية λ (مضاعِف لاغرانج) هي عامل التناسب. وضمّ الشرطين كليهما في كائن واحد يعطي لاغرانجيان L = f − λg؛ وجعل ∇L = 0 يستعيد المعادلات أعلاه تماماً.

أين يظهر هذا في تعلّم الآلةالتحسين المقيَّد موجود في كل مكان في تعلّم الآلة. آلات المتجهات الداعمة تعظّم هامشاً خاضعاً لقيود التصنيف، ومسألتها المزدوجة مبنية من مضاعِفات لاغرانج (عبر شروط KKT، الامتداد الذي يعالج المتباينات). قيود معيار الأوزان، ومناطق الثقة في التعلّم المعزَّز، وطرائق التدرج المُسقَط، كلها تعود إلى «∇f موازٍ لـ∇g». والمضاعِف λ هو نفسه وزن العقوبة الذي تراه كثيراً مضافاً إلى الخسارة.