קמירות

חשבון דיפרנציאלי ואינטגרלי חד־משתני מיסודות ראשונים

קמירות היא הצורה שהופכת את האופטימיזציה לקלה. פונקציה קמורה נפתחת כלפי מעלה בכל מקום, כמו קערה, והתכונה האחת הזו הופכת אותה לקלה למזעור: יש בדיוק נקודה נמוכה אחת, וכל מסלול יורד מוביל ישירות אליה.

יש שלוש דרכים שקולות לראות קמירות. ראשית, הנגזרת השנייה אי־שלילית בכל מקום: f″(x) ≥ 0. שנית, העקומה נפתחת כלפי מעלה ולעולם אינה מתכופפת כלפי מטה. שלישית, התמונה המגדירה: מיתר בין כל שתי נקודות נמצא מעל העקומה.

תארו לעצמכם עמק חלק, או פנים של קערה, והפילו גולה בכל מקום לאורכה. לא משנה מאיפה היא מתחילה, הגולה תמיד מתגלגלת למטה אל הנקודה הנמוכה היחידה ומתיישבת שם. זה בדיוק מה שקמירות נותנת לכם: עמק אחד, ללא תחתיות שקריות, כך שכל נתיב למטה מוביל למינימום האמיתי היחיד.

איפה זה ב־MLקמירות היא קו פרשת המים בלמידת מכונה. לרגרסיה לינארית/לוגיסטית ול־SVM יש הפסדים קמורים: מינימום גלובלי אחד, ואימון אמין וניתן לשחזור. לרשתות עמוקות יש הפסדים לא־קמורים מאוד, עם אינספור מינימום מקומיים ונקודות אוכף — ולכן אתחולים אקראיים שונים נוחתים בפתרונות שונים, ולכן קצב הלמידה כה חשוב, ולכן אין אופטימום יחיד "נכון". לדעת אם ההפסד שלך קמור אומר עד כמה אפשר לסמוך על האופטימיזטור.
▶ קמירות
← מבחן הנגזרת השנייהתצפית של גרדיאנט ירידה →