איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
להפסד קמור יש ערבות חזקה: כל מינימום מקומי הוא גלובלי. זה הופך את האופטימיזציה לנקייה מבחינה קונספטואלית. יעדים קלאסיים רבים בלמידת מכונה קמורים; רשתות עמוקות בדרך כלל לא.
עדיין שווה ללמוד קמירות, כי היא נותנת את מקרה הייחוס. היא מספרת לכם איך אופטימיזציה הייתה נראית אילו לא היו מלכודות מקומיות רעות, סיבוכי נקודות אוכף, והפתעות נוף חמורות.
לצלחת לוויין יש כיוון כיוונון נקי אחד כשמשטח האות חלק ובעל שיא יחיד. נייר כסף מקומט מלא פאונים קטנים ובוהקים שיכולים ללכוד אור באופן מקומי. אופטימיזציה קמורה קרובה יותר לצלחת; אימון של רשת עמוקה קרוב יותר לנייר הכסף. האיור למטה מראה את המבחן המגדיר על עקומה קמורה: הזיזו את שתי נקודות הקצה ושימו לב שהמיתר הישר ביניהן לעולם לא צולל מתחת לעקומה.