טור טיילור רב־משתני

חשבון דיפרנציאלי ואינטגרלי רב־משתני מיסודות ראשונים

הקירוב הליניארי (שיעור 9) השתמש רק בגרדיאנט, ולכן נתן מישור משיק שטוח. אם מוסיפים את האיבר הבא, זה הבנוי מן ההסיאן, מתקבל קירוב ריבועי: פרבולואיד הצמוד אל המשטח ולוכד את העקמומיות שלו, ולא רק את שיפועו.

נקרא את שלושת החלקים: f(x) הוא הגובה, ∇fᵀδ הוא התיקון הליניארי (השיפוע), ו־½δᵀHδ הוא התיקון הריבועי (העקמומיות). האיבר האחרון הוא תבנית ריבועית בצעד, והוא בדיוק האובייקט שאת סימנו קובעים הערכים העצמיים של ההסיאן.

מישור משיק שטוח הנח על משטח מעוקל דומה להנחת זכוכית נושאת נוקשה על העין: הוא נוגע בנקודה אחת אך פעור בכל מקום אחר. עדשת מגע מתפקדת טוב יותר מכיוון שהיא מעוקלת כך שתתאים למשטח העין, ומתאימה לא רק למקום שבו העין נמצאת אלא גם לאופן שבו היא מתעקמת. האיבר ההסיאני ½δᵀHδ הוא העקמומיות המובנית הזו: הוא מאפשר לקירוב לחבק את המשטח במקום רק לנוח עליו.

איפה זה ב־MLבמקום לזחול במורד בצעד גרדיאנט קטן אחד בכל פעם, אפשר להתאים פרבולואיד להפסד ולקפוץ ישר אל תחתיתו. זוהי שיטת ניוטון: היא ממזערת את הביטוי הריבועי המקומי במדויק, צועדת δ = −H⁻¹∇f, ומתכנסת מהר בהרבה מאשר ירידת גרדיאנט פשוטה כאשר העקמומיות משתנה מאוד. Adam ושיטות דומות לו רודפים אחר אותו תיקון עקמומיות בזול, פרמטר אחר פרמטר, מבלי לבנות אי־פעם את ההסיאן המלא (העצום).
▶ טור טיילור רב־משתני
← אופטימיזציה עם אילוציםאינטגרלים כפולים →