שחלוף

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

השחלוף Aᵀ הופך מטריצה על פני האלכסון הראשי שלה: שורות הופכות לעמודות ועמודות לשורות. איבר (i, j) מתחלף עם איבר (j, i). מטריצה (m×n) הופכת ל(n×m).

דמיינו גיליון אלקטרוני שבו השורות הן אנשים והעמודות הן החודשים שבהם כל אחד שילם. שחלוף (Transposing) שלו מטה את כל הטבלה על האלכסון שלה כך ששורות הופכות לעמודות: עכשיו השורות הן חודשים והעמודות הן אנשים. שום מספר לא הולך לאיבוד או משתנה — כל ערך פשוט זז לתא המראה שלו, שבו תווית השורה ותווית העמודה שלו החליפו מקומות.

מטריצה השווה לשחלוף של עצמה, A = Aᵀ, היא סימטרית: מאוזנת־מראה על פני האלכסון, עם Aᵢⱼ = Aⱼᵢ. המטריצות האלה מיוחדות מספיק ששני שיעורים שלמים מוקדשים להן בהמשך.

איפה זה ב־MLהשחלוף נמצא בכל מקום ב־backprop. המעבר קדימה מכפיל ב־W; המעבר אחורה מכפיל את הגרדיאנט הנכנס ב־Wᵀ כדי לשלוח אותו לשכבה הקודמת. ציוני תשומת הלב הם QKᵀ. ומטריצת ההסיאן ומטריצת השונות המשותפת (קווריאנס) הן סימטריות (A = Aᵀ) מעצם בנייתן, וזה בדיוק מה שמבטיח את מבנה הערכים העצמיים הנוח ששיעורים מאוחרים יותר נשענים עליו.
▶ שחלוף
← כפל מטריצותמטריצות מיוחדות →