איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
ירידת גרדיאנט באצווה מלאה משתמשת בכל דוגמת אימון כדי לחשב כל עדכון; ירידת גרדיאנט סטוכסטית הולכת לקצה השני ומשתמשת בדוגמה בודדת בלבד. ירידת גרדיאנט במיני-אצווה יושבת באמצע עם אצווה קטנה, וזו הפשרה שעליה למידה עמוקה באמת פועלת.
גרדיאנט של מיני-אצווה הוא אומדן רועש של הגרדיאנט המלא. הוא זול יותר ולעיתים קרובות שימושי יותר מהגרדיאנט המלא המדויק, כי הוא מספק הרבה עדכונים מהירים והרעש שלו יכול לעזור לחקירה.
בדיקות איכות של דגני בוקר משתמשות באותה פשרה. פתיחת כל קופסה מדויקת אבל איטית. בדיקת קופסה אחת רועשת. בדיקת מגש קופסאות נותנת אומדן שימושי במהירות. מיני-אצוות הן אותם מגשים. האיור למטה הופך את הסטטיסטיקה לגלויה: לחצו על הרצה וצפו בממוצע רץ מתייצב ככל שמגיעות עוד דגימות. גרדיאנט של מיני-אצווה הוא אותו סוג של אובייקט, ממוצע שמתייצב ככל שהאצווה גדלה.