איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
נוף ההפסד הוא הצורה של L(θ) על פני מרחב הפרמטרים. עבור רשתות נוירונים הוא ממימד גבוה ולא-קמור: יש בו מתיחות שטוחות רחבות, מתיחות מעוקלות בחדות, נקודות אוכף שעולות בכיוונים מסוימים בעוד הן יורדות באחרים, והרבה אזורי הפסד-נמוך נפרדים שלעיתים קרובות מתגלים כמחוברים.
אי אפשר להמחיש את הנוף האמיתי ישירות, אבל אפשר לחשוב על הגאומטריה המקומית: גרדיאנט, עקמומיות, רעש, ואיך אופטימייזרים שונים נעים דרכם.
בשדה דיונות אחרי רוח חזקה יש טלאים שטוחים רחבים, רכסים חדים, ומסלולים שנראים ישרים מכיוון אחד אבל משופעים מכיוון אחר. לנוף ההפסד יש אותה בעיה: הצורה המקומית תלויה בכיוון. אתם יכולים לבנות את הצורה החשובה ביותר מסוג זה באיור למטה: הזיזו את שתי העקמומיות עד שאחת חיובית והאחרת שלילית. זהו אוכף, ישר לאורך קו אחד ומשופע לאורך אחר, וזהו סוג הנקודה הסטציונרית ששולט בנופים ממימד גבוה.