איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
לפעמים אסור לפרמטרים לזוז לכל מקום. הם חייבים לקיים אילוצים: משקלים אי-שליליים, נורמות חסומות, הסתברויות שחייבות להישאר אי-שליליות ולהסתכם ל-1 (קבוצה שנקראת הסימפלקס ההסתברותי), מגבלות הוגנות, מגבלות בטיחות, או ישימות פיזית.
אופטימיזציה מוגבלת פירושה למזער את ההפסד תוך הישארות בתוך הקבוצה המותרת. שיטה מעשית אחת היא ירידת גרדיאנט מוטלת: לוקחים צעד רגיל, ואז מטילים בחזרה על הקבוצה הישימה.
שואב אבק רובוטי עם רצועות גבול יכול לנסות לזוז דרך קיר, אבל הגבול דוחף אותו בחזרה אל החדר המותר. אופטימיזציה מוטלת עובדת באותו אופן. צעד גרדיאנט עלול להצביע החוצה, ואז ההטלה גוזרת את התוצאה בחזרה אל האזור הישים. האיור למטה מראה את הלב הגאומטרי של הפעולה: גרירת נקודה כלפי מטה אל הנציג הקרוב ביותר שלה על קבוצה מותרת (שם, ישר). הטלה על תיבה או על סימפלקס הסתברותי משתמשת באותו עיקרון של הנקודה הקרובה ביותר, עם קבוצה מותרת שונה.