כפל מטריצות

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

כפל מטריצות נראה כמו כלל קפדני, אבל משמעותו נקייה: AB הוא הרכבה של שתי טרנספורמציות. עשה B קודם, ואז A. המכפלה היא המטריצה היחידה שמשיגה את שתי התנועות במכה אחת.

כדי לחשב איבר של AB, קח שורה של A והכפל אותה סקלרית בעמודה של B. איבר (i, j) הוא שורה i של A במכפלה סקלרית עם עמודה j של B. זה כל האלגוריתם: מכפלות סקלריות, מסודרות ברשת.

דמיינו שתי מכונות בפס ייצור. המכונה הראשונה B מעצבת מחדש חלק, ואז המכונה השנייה A מעצבת אותו מחדש שוב. המכפלה AB היא המכונה המשולבת היחידה שמבצעת את שני השלבים במעבר אחד — והסדר על הפס קבוע, כיוון שהחלק חייב לעבור דרך B לפני A.

איפה זה ב־MLהרכבת שכבות היא כפל מטריצות. מחסנית לינארית דו־שכבתית W₂(W₁x) שווה ל־(W₂W₁)x; השכבות מתמזגות למפה אחת. בתשומת לב, הציונים נובעים ממכפלה QKᵀ והפלט מכפלת המשקלים האלה ב־V. כל מעבר קדימה הוא שרשרת של המכפלות האלה, וכלל הצורה הוא בדיוק מה ש־GPUs נבנו כדי לחשב במהירות.
▶ כפל מטריצות
← מטריצות כמפות לינאריותשחלוף →