נורמות מטריצה

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

בדיוק כשם שלוקטור יש אורך, למטריצה יש "גודל". שני מדדים שולטים בתחום, והם עונים על שאלות שונות: כמה גדולים האיברים, לעומת כמה המטריצה יכולה למתוח וקטור?

נורמת Frobenius מתייחסת למטריצה כאל רשימה ארוכה אחת של מספרים, ולוקחת את האורך האוקלידי: רבע כל איבר, חבר, והוצא שורש. הנורמה הספקטרלית, לעומת זאת, מודדת את המתיחה המרבית, הגורם הגדול ביותר שבו A יכולה להאריך וקטור יחידה כלשהו, ומתברר שזהו הערך הסינגולרי הגדול ביותר.

חשבו על מטריצה כעל amplifier של גיטרה: אתם מזינים אות ואז הוא יוצא חזק יותר. הנורמה הספקטרלית היא ה- gain המרבי של המגבר, הפקטור הגדול ביותר שבו הוא יכול להגביר כל קלט שתשלחו דרכו. סובבו את הכפתור להגדרה הרועשת ביותר שלו והעוצמה המרבית שאות יחידה יכול לצאת היא בדיוק הנורמה הזו.

איפה זה ב־MLנורמת Frobenius היא רגולריזציית משקלים מסוג L2 עבור מטריצה שלמה: הענשת ‖W‖_F² שומרת על משקלים קטנים ועל מודל חלק. הנורמה הספקטרלית מניעה נרמול ספקטרלי, המחלק מטריצת משקלים בערך הסינגולרי הגדול ביותר שלה כדי להגביל את עוצמת ההגברה שלה. זה הופך אותה למייצב מפתח ב־GANs ולכלי לאכיפת חסמי ליפשיץ.
▶ נורמות מטריצה
← ריבועים פחותיםהטלות →