קירוב לינארי

חשבון דיפרנציאלי ואינטגרלי רב־משתני מיסודות ראשונים

מקרוב, כל משטח חלק נראה שטוח, כמו שכדור הארץ מרגיש שטוח מתחת לרגליים. הקירוב הלינארי מחליף את הפונקציה המתעקלת ליד נקודה עם מישור המשיק השטוח שרק נוגע בה שם. הגרדיאנט מספק את הנטייה של אותו מישור.

קרא במילים: הערך החדש ≈ הערך הישן, ועוד הגרדיאנט במכפלה סקלרית עם הצעד שלקחת. המכפלה הסקלרית הזו היא הנגזרת הכיוונית כפול אורך הצעד, הניחוש הלינארי הטוב ביותר לכמה f זז.

הצמידו מדבקה שטוחה קטנה על כדור ים ובדיוק במקום שבו היא יושבת, הכדור המעוקל נראה שטוח לחלוטין. הקירוב הליניארי הוא המדבקה הזו: מישור משיק שטוח שנושק למשטח בנקודה אחת ומהווה תחליף לעקומה בסביבתה. אם תנדדו רחוק מדי על פני הכדור, המדבקה תתקלף מהמשטח — והתחזית תסטה מהמציאות.

איפה זה ב־MLצעד גרדיאנט ירידה אחד הוא קירוב לינארי בפעולה. עדכון w ← w − η∇L מניח ששינוי ההפסד נחזה היטב על ידי האיבר הלינארי ∇L·δ. כשהצעד גדול מדי, העקמומיות שהתעלמת ממנה (האיבר ‖δ‖²) נושכת בחזרה וההפסד יכול לחרוג מהיעד או להתבדר. קצב הלמידה η מחזיק אותך באזור שבו התייחסות למשטח כשטוח היא קרובה מספיק לאמת.
▶ קירוב לינארי
← נגזרת כיווניתהיעקוביאן →