מטריצות מיוחדות

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

מספר מטריצות מופיעות כל כך לעיתים, עם גאומטריה כל כך נקייה, שהן זוכות לשמות. הכרתן למראה חוסכת מאמץ עצום.

מטריצת היחידה I בעלת 1 על האלכסון ו־0 בכל מקום אחר. היא המפה "עשה כלום": Ix = x לכל וקטור. מטריצה אלכסונית בעלת איברים שאינם אפס רק על האלכסון; היא מותחת כל ציר בנפרד, עם איבר dᵢ מכפיל את הקואורדינטה ה־i ובלי ערבוב.

חשבו על שולחן מיקסים של סאונד. מטריצת היחידה I היא כל המחוונים החונים ב- 1: האות עובר ללא מגע, בדיוק "אל תעשה כלום." מטריצה אלכסונית היא אוסף של מחווני עוצמת קול עצמאיים — כל אחד מגביר או חותך ערוץ בודד בעצמו, ללא שום ערוץ שאי פעם זולג לאחר.

איפה זה ב־MLמפות אורתוגונליות שומרות על סדר הגודל של האותות, ולכן הן מתנהגות היטב בקנה מידה גדול. אתחול משקלים אורתוגונלי מאתחל שכבה כמפה שומרת אורך, כך שאקטיבציות וגרדיאנטים לא יתפוצצו ולא ייעלמו כשהם עוברים דרך שכבות רבות. מטריצות אלכסוניות מופיעות כשינוי קנה־מידה לכל תכונה בbatch norm, ומטריצת היחידה היא עמוד השדרה של החיבור השיורי x + f(x) — נתיב "עשה כלום" שמאפשר לגרדיאנטים לזרום ישר דרכו.
▶ מטריצות מיוחדות
← שחלוףAx = b: גאומטריה →