תבניות ריבועיות — אלגברה לינארית

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

תבנית ריבועית xᵀAx לוקחת וקטור ומחזירה מספר יחיד המשתנה ריבועית ב־x, גרסת המטריצה של ax². כש־x נע על פני כל הכיוונים, המספר הזה משרטט משטח, והמטריצה A (שנניח כי היא סימטרית) קובעת את צורת המשטח הזה.

הערכים העצמיים שלה הם העקמומיות לאורך הצירים העצמיים, והסימנים שלהם מסווגים את המשטח באופן מלא. כולם חיוביים: קערה הנפתחת כלפי מעלה (מוגדרת חיובית) עם מינימום נקי. כולם שליליים: כיפה (מוגדרת שלילית) עם מקסימום. סימנים מעורבים: אוכף (אי־מוגדרת), עולה בכיוונים מסוימים ויורד באחרים.

הזז את סימני הערכים העצמיים באיור וצפה במשטח משתנה בין קערה, כיפה ואוכף.

איפה זה ב־MLהתבנית הריבועית δᵀHδ היא האיבר מהסדר השני בפיתוח טיילור של פונקציית הפסד; היא היא עצמה העקמומיות המקומית. הסיאן מוגדר חיובי פירושו מינימום מקומי (קערה); הסיאן אי־מוגדר פירושו אוכף, שבהם נופי הפסד ממימד גבוה זרועים. ניתוח עקמומיות זה מניע אופטימייזרים מהסדר השני (שיטת ניוטון) ומסביר מדוע האימון בורח מאוכפים במקום להיתקע במינימה.