היעקוביאן

חשבון דיפרנציאלי ואינטגרלי רב־משתני מיסודות ראשונים

כשהפלט הוא גם וקטור, פונקציה f: Rⁿ → Rᵐ, גרדיאנט אחד לא מספיק. צריך את הנגזרת החלקית של כל פלט ביחס לכל קלט. ערמו את כולן למטריצה ומקבלים את היעקוביאן J, הנגזרת הראשונה המלאה של מפה וקטורית.

שורה i של J היא פשוט הגרדיאנט של הפלט ה־i. אז היעקוביאן הוא ערימה של גרדיאנטים, אחד לכל קואורדינטת פלט. צורתו m × n: מספר שורות כמספר הפלטים, מספר עמודות כמספר הקלטים.

חשבו על שולחן מיקסים של טכנאי קול, שבו כל ערוץ פלט מגיב לכל כפתור קלט. היעקוביאן הוא טבלת הרגישות הזו כפי שהיא כתובה: כל ערך אומר עד כמה פלט אחד זז כשאתם דוחפים כפתור קלט אחד. קראו לאורך השורה כדי לראות את כל מה שמניע פלט יחיד; קראו לאורך העמודה כדי לראות את כל מה שכפתור אחד שולט בו.

איפה זה ב־MLהיעקוביאן של שכבה אומר איך הפרעה קטנה של הקלט משנה את הפלט, המתיחה־והדחיסה המקומית של אותה שכבה. Backpropagation היא פשוט הכפלה של היעקוביאנים האלה, שכבה אחר שכבה, זה בזה (המודול הבא). כשאנשים דואגים לגרדיאנטים נעלמים או מתפוצצים, הם דואגים בדיוק לאותה מכפלה של יעקוביאני השכבות, שמצטמצמת לאפס או מתפוצצת.
▶ היעקוביאן
← קירוב לינאריגאומטריית היעקוביאן →