גאומטריית ההסיאן

חשבון דיפרנציאלי ואינטגרלי רב־משתני מיסודות ראשונים

הערכים העצמיים של ההסיאן הופכים את השאלה המעורפלת 'איזו נקודה קריטית זו?' לרשימת בדיקה ברורה. בנקודה שבה הגרדיאנט מתאפס, הסימנים של הערכים העצמיים של ההסיאן מגלים אם אנחנו יושבים בתוך קערה, על כיפה, או על אוכף.

זהו מבחן הנגזרת השנייה בריבוי משתנים, והוא הכללה ישירה של המקרה החד־ממדי: שם f″ > 0 סימן מינימום ו־f″ סימן מקסימום. הערכים העצמיים של ההסיאן הם פשוט הגרסה הרב־כיוונית של אותו מספר יחיד.

דמיינו שלושה חטיפים. קערת מרק מתעקלת כלפי מעלה לא משנה לאיזה כיוון תטו אותה, כיפת גלידה מתעקלת כלפי מטה בכל מקום, וצ'יפס פרינגלס מתעקם כלפי מעלה לאורך אורכו אך כלפי מטה לרוחבו. הערכים העצמיים של ההסיאן הם פשוט העקמומיות לאורך הכיוונים המיוחדים הללו: אותו סימן משמעותו קערה או כיפה, סימנים הפוכים (כמו 2 ו־−2) משמעותם הצ'יפס, אוכף.

איפה זה ב־MLבמימדים גבוהים, נקודות האוכף עולות במספרן בהרבה על המינימומים המקומיים. כדי שנקודה קריטית אקראית ב־n מימדים תהיה מינימום או מקסימום אמיתי, כל n הערכים העצמיים צריכים לחלוק את אותו סימן, וזה בלתי סביר במידה אקספוננציאלית. לכן אימון רשת עמוקה עוסק בעיקר בבריחה מאוכפים — מקומות שבהם הגרדיאנט קטן אך אנחנו רחוקים מהתחתית — ולא בהיחלצות ממינימומים מקומיים גרועים. שינוי נקודת המבט הזה הוא חלק גדול…
▶ גאומטריית ההסיאן
← ההסיאןכלל השרשרת: הרכבה סקלרית →