التحدّب

التفاضل والتكامل متعدد المتغيرات من المبادئ الأولى

بعض مسائل التحسين سهلة وبعضها صعب، وثمة خاصية واحدة ترسم الحدّ بينهما: التحدّب. الدالة المحدّبة لها شكل وعاء واحد بلا قيعان زائفة، ولذا فإن إيجاد مكانٍ يكون فيه التدرج صفراً يعني أنك وجدت النقطة الصغرى الشاملة. لا نقاط سرج ولا مصائد موضعية.

الصورة المُعرِّفة: تكون الدالة محدّبة إذا كان الوتر المستقيم بين أي نقطتين على منحناها يقع فوق المنحنى نفسه (أو عليه). فالدالة لا تنتفخ أبداً فوق اختصاراتها الخاصة.

قارن وعاء سلطة ناعم بكرتونة بيض متعرجة. الوعاء له قاع حقيقي واحد: دحرج كرة زجاجية فيه من أي مكان وستستقر دائماً في نفس النقطة المنخفضة. كرتونة البيض مليئة بالفخاخ الصغيرة، كل منها قاع زائف يمسك بالكرة قبل النقطة الأدنى. الدالة المحدبة هي وعاء السلطة، وهذا الحد الأدنى الوحيد المضمون هو ما يجعل من السهل تحسينها.

أين يظهر هذا في تعلّم الآلةالانقسام بين المحدّب وغير المحدّب يفسّر الكثير في تعلّم الآلة. الانحدار الخطي واللوجستي محدّبان، ولذا يصل النزول التدرجي بشكل قابل للإثبات إلى النقطة المثلى الشاملة وتتفق أي دورتي تشغيل. الشبكات العميقة غير محدّبة إلى حدّ بعيد، مليئة بالنقاط الحرجة، بنتائج تتبدّل مع التهيئة والعشوائية. هذه الفجوة هي سبب شعورك بأن تعلّم الآلة الكلاسيكي موثوق وبأن التعلّم العميق متقلّب. أما متباينة ينسن فهي حجر…
▶ التحدّب
← النقاط الحرجة في Rⁿالتحسين المقيَّد →