נקודות קריטיות ב־Rⁿ

חשבון דיפרנציאלי ואינטגרלי רב־משתני מיסודות ראשונים

אופטימיזציה במימדים רבים מתחילה בדיוק במקום שבו התחילה בחד־ממד: למצוא היכן השיפוע מתאפס. אלא שעכשיו 'השיפוע' הוא וקטור הגרדיאנט כולו, ולכן נקודה קריטית היא נקודה שבה כל הנגזרות החלקיות מתאפסות בו־זמנית, ∇f = 0.

זהו תנאי הכרחי אך לא מספיק: גרדיאנט אפס מסמן מינימום, מקסימום או נקודת אוכף. כדי להבחין ביניהם נעזרים בהסיאן וקוראים את סימני הערכים העצמיים שלו, מבחן הסדר השני משיעור 13. הגרדיאנט האפסי מאתר את המועמד; ההסיאן מסווג אותו.

טיילו במסלול גולף הררי וחפשו את האזורים המישוריים, המקומות שבהם כדור ישב ללא ניע. הטי (tee) על ראש גבעה, הגרין (green) הנמוך בשקע, והאוכף השטוח לאורך רכס הם כולם מקומות שבהם הקרקע שטוחה לרגע בכל כיוון. השטיחות הזו היא ∇f = 0; האם אתם על פסגה, בתוך שקע, או על אוכף זו שאלה נפרדת שההסיאן עונה עליה.

איפה זה ב־MLכל ריצת אימון מבוססת־גרדיאנט היא חיפוש אחר ∇L = 0: האופטימייזר ממשיך לצעוד עד שהגרדיאנט נעשה זניח. בשל סיפור נקודות האוכף (שיעור 13), מה שהוא מוצא בדרך כלל אינו 'ה'מינימום הגלובלי, אלא אחד מתוך מספר עצום של אזורי הפסד־נמוך כמעט־שקולים. העובדה שגרדיאנט ירידה מגיע באופן אמין לאזור טוב מספיק היא חלק גדול מהתעלומה האמפירית, ומההצלחה, של למידה עמוקה.
▶ נקודות קריטיות ב־Rⁿ
← גרפי חישובקמירות →