التدرّج

التفاضل والتكامل متعدد المتغيرات من المبادئ الأولى

اجمع كل مشتقة جزئية للدالة f في متجه واحد فتحصل على التدرّج، المكتوب ∇f ("غراد f"). كل مُحسِّن (optimizer) في التعلّم العميق يعمل على هذا الكائن الواحد، فيكسب مكانه في قلب المقرّر.

التدرّج ليس مجرد مسك دفاتر. بوصفه متجهاً في فضاء المُدخَل، له اتجاه وطول، وكلاهما يحمل معنى. الاتجاه هو اتجاه الصعود الأشدّ انحداراً: وجّه نفسك على امتداد ∇f فتتسلّق الدالة بأسرع ما يمكن على الإطلاق. وطوله ‖∇f‖ هو بالضبط مدى حدّة ذلك التسلّق.

تخيل نفسك واقفاً على تل عشبي في الضباب. التدرج ∇f هو السهم الذي يشير مباشرة إلى أعلى الجزء الأكثر انحداراً من الميل، ويخبرك طوله بمدى صعوبة هذا التسلق. ضع كرة على الأرض واتركها: ستتدحرج في الاتجاه المعاكس تماماً، لتتخذ أسرع طريق للنزول.