הנגזרת

חשבון דיפרנציאלי ואינטגרלי חד־משתני מיסודות ראשונים

הנגזרת עונה על שאלה אחת: כמה מהר פונקציה משתנה ברגע יחיד? גאומטרית, זהו השיפוע של העקומה בדיוק בנקודה אחת, השיפוע של קו המשיק שרק מנשק את העקומה שם.

חשבו על מד המהירות במכונית נוסעת. המהירות הממוצעת שלכם לאורך שעה היא המרחק הכולל מחולק בזמן הכולל, אבל המחט מראה משהו חד יותר: בדיוק כמה מהר אתם נוסעים ברגע זה ממש. הנגזרת היא המחט הזו, קצב השינוי שקפוא ברגע בודד במקום להיות מרוח על פני מרווח זמן.

אבל כאן מסתתרת חידה. שיפוע דורש שתי נקודות: עלייה חלקי הליכה. נקודה יחידה אינה נותנת ממה למדוד. אז כיצד יכולה נקודה בודדת בכלל להיות בעלת שיפוע? הטריק הוא להתגנב אליה.

איפה זה ב־MLהגרדיאנט שמאמן כל רשת נוירונים הוא בדיוק הנגזרת הזו, מיושמת על פונקציית ההפסד. הכמות ∂L/∂w היא השיפוע של ההפסד כשמזיזים מעט משקל בודד w: הסימן שלה אומר לאיזה כיוון להזיז כדי להקטין את ההפסד, והגודל שלה אומר עד כמה ההפסד רגיש למשקל הזה. האימון הוא פשוט: מעריכים את הגבול הזה (מנוע autograd עושה זאת עבורך, במדויק — בלי צורך לכווץ h), ואז מזיזים את המשקל בכיוון היורד. כל תחום הלמידה העמוקה בנוי מעל…
▶ הנגזרת
← רציפותגזירות →