וקטורים וגאומטריה של Rⁿ

חשבון דיפרנציאלי ואינטגרלי רב־משתני מיסודות ראשונים

חשבון אינפיניטסימלי למשתנה יחיד חי על קו. למידת מכונה לא. משקלי רשת עצבית, embedding, גרדיאנט: כל אחד הוא נקודה במרחב רב־ממדי, Rⁿ. הבשורה הטובה היא שהגאומטריה שמוכרת לך מהמישור R² עוברת כמעט מילה במילה. וקטור עדיין חץ מהראשית; אורך, זווית, וה"צל" של וקטור על וקטור אחר כולם עדיין נשארים בעלי משמעות. פשוט כבר אי אפשר לצייר את זה.

וקטור v = (v₁, v₂, …, vₙ) הוא רשימה מסודרת של מספרים. אפשר לקרוא אותו בשתי דרכים בו זמנית: כמיקום (הנקודה שמגיעים אליה) וככיוון עם אורך (החץ שמביא אותך לשם). שתי הקריאות חשובות כל הזמן בלמידת מכונה.

הנורמה (אורך) של וקטור בא ישירות מפיתגורס, פשוט עם יותר איברים:

איפה זה ב־MLכש־transformer מחליט כמה token אחד צריך להתייחס לאחר, הוא לוקח את המכפלה הסקלרית של query ו־key, q·k. זו אותה פעולה כמו דירוג שכנים קרובים ביותר במרחב embedding לפי דמיון קוסינוס, ואותה אחת שמסווג לינארי משתמש בה כדי לשאול באיזה צד של w·x + b = 0 נקודה נוחתת. רוב מה שנקרא 'דמיון' בלמידת מכונה הוא המספר האחד הזה a·b.
▶ וקטורים וגאומטריה של Rⁿ
← תבניות ריבועיותפונקציות f: Rⁿ → R →