מכפלה סקלרית — אלגברה לינארית

גאומטריה ואלגברה של העתקות לינאריות, וקטורים ומטריצות

המכפלה הסקלרית לוקחת שני וקטורים ומחזירה מספר יחיד. המתכון פשוט: כפול רכיבים תואמים וחבר את התוצאות. האריתמטיקה הפשוטה הזו נושאת משמעות גאומטרית. המכפלה הסקלרית מודדת כמה שני חצים מצביעים לאותו כיוון.

הצורה הימנית היא זו שכדאי להישען עליה. |a| ו־|b| הם האורכים, ו־θ היא הזווית בין החצים. אז הסימן של המכפלה הסקלרית קורא את הגאומטריה מיד: חיובי אומר שהחצים נוטים לאותו כיוון (θ < 90°), שלילי אומר שהם מתנגדים (θ > 90°), ובדיוק אפס אומר שהם מאונכים. המקרה האחרון עולה שוב ושוב.

דמיינו שאתם דוחפים עגלת קניות בזמן שהרוח נושבת. המכפלה הסקלרית של הדחיפה שלכם ושל הרוח אומרת לכם עד כמה שני החצים מיושרים: היא גדולה ו- positive כשהרוח עוזרת לכם בדרך, zero כשהרוח נושבת ישירות לרוחב הנתיב שלכם ולא עושה שום עבודה, ושלילית כשהיא דוחפת חזרה נגדכם. אם קוראים את זה כציון דמיון, מכפלה סקלרית גדולה יותר פשוט אומרת ש-"שני החצים האלה מסכימים יותר."

איפה זה ב־MLכש־transformer מחליט לאיזה token קודם להתייחס, הוא מחשב מכפלה סקלרית. ציון תשומת הלב הוא q · k בין וקטור query לווקטור key: הוא גבוה כשהם מצביעים לאותו כיוון, ומשמעותו "ה־token הזה רלוונטי לזה." דמיון קוסינוס הוא אותו רעיון עם האורכים מחולקים החוצה. הוא מודד כמה שני embeddings דומים זה לזה ללא תלות בגודלם, וכך מנועי חיפוש והמלצה מתאימים query למסמכים.