נגזרת כיוונית

חשבון דיפרנציאלי ואינטגרלי רב־משתני מיסודות ראשונים

נגזרות חלקיות מספרות לך רק את השיפוע לאורך צירי הקואורדינטות, אבל אפשר ללכת בכל כיוון. הנגזרת הכיוונית D_u f עונה: אם אני צועד לאורך וקטור היחידה u, כמה מהר f משתנה? התשובה מתבררת כמכפלה סקלרית אחת עם הגרדיאנט.

דמיינו שאתם מטיילים לאורך אותה גבעה, אך במקום לפנות היישר במעלה הגבעה, אתם בוחרים כיוון מצפן, למשל צפון-מזרח, והולכים בדרך זו. הנגזרת המכוונת D_u f היא השיפוע שאתם באמת מרגישים תחת מגפיכם לאורך כיוון זה. פנו אל עבר הכיוון התלול ביותר ותרגישו את מלוא הטיפוס; פנו הצידה לאורך צלע הגבעה והקרקע תרגיש שטוחה.

כיוון ש־D_u f = ∇f·u = ‖∇f‖‖u‖cos θ = ‖∇f‖cos θ (כי u הוא וקטור יחידה), קצב השינוי גדול ביותר בדיוק כש־cos θ = 1, כלומר כש־u מצביע לאורך ∇f. סובב את חץ הכיוון למטה וצפה בתצוגת השיפוע מגיעה לשיא כשהוא מתיישר עם הגרדיאנט ונעלמת כשהוא מאונך לו.

איפה זה ב־MLזהו המשפט שמצדיק את גרדיאנט יורד. מבין כל הכיוונים שאפשר לצעוד, −∇L מקטין בהוכחה את ההפסד הכי מהר. אז אם תהית פעם למה אימון צועד לאורך הגרדיאנט ולא בכיוון אחר, זו התשובה: הגרדיאנט הוא הבחירה המקומית הטובה ביותר, ולכן w ← w − η∇L הוא העדכון האוניברסלי.
▶ נגזרת כיוונית
← הגרדיאנטקירוב לינארי →