גבולות ורציפות ב־Rⁿ

חשבון דיפרנציאלי ואינטגרלי רב־משתני מיסודות ראשונים

על קו יכולת להתקרב לנקודה רק משני צדדים, שמאל וימין. במישור ומעבר לו, אפשר לגשת לנקודה מאינסוף כיוונים, לאורך כל מסלול שתרצה. החופש הנוסף הזה הופך גבולות ב־Rⁿ לקשים באמת, והשיעור הזה הוא יותר אזהרה מאשר מתכון.

לפונקציה f יש גבול L בנקודה p רק אם היא מתכנסת לאותו L לא משנה באיזה מסלול נכנסים. אם שני מסלולים שונים נותנים שתי תשובות שונות, הגבול פשוט אינו קיים.

אתם מסכימים להיפגש עם חבר במזרקה באמצע רחבה. אתם יכולים ללכת לעברה מהכניסה הצפונית, מהסמטה המזרחית, או בכל אלכסון מתפתל ברחבי הכיכר, אך עליכם לסיים באותה מזרקה. גבול ב־Rⁿ דורש בדיוק את זה: הפונקציה חייבת לכוון לערך אחד ללא קשר לאיזה מסלול תיקחו. אם שתי גישות חלוקות על המקום שבו הן נוחתות, אין נקודת מפגש, והגבול אינו קיים.

איפה זה ב־MLאימון מבוסס גרדיאנט עובד כי כמעט כל פונקציה בלמידה עמוקה רציפה: דחיפת משקל זעירה מייצרת שינוי הפסד זעיר, אז לגרדיאנט יש משמעות. החריג הידוע הוא ReLU, max(0, x), רציפה בכל מקום אבל עם נקודת חידוד ב־0 שבה הנגזרת קופצת. נוף חלק הוא הסדירות שעליה נשען גרדיאנט יורד, והיכן שהיא נשברת (באותה נקודת חידוד) האופטימיזציה נסוגה לתת־גרדיאנטים.
▶ גבולות ורציפות ב־Rⁿ
← פונקציות f: Rⁿ → Rᵐנגזרות חלקיות →