איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
גודל אצווה, שנכתב B, משנה את הרעש באומדני הגרדיאנט. אצווה קטנה נותנת אומדן רועש אך זול. אצווה גדולה נותנת אומדן יציב יותר, אך כל עדכון עולה יותר.
כשגודל האצווה משתנה, קצב הלמידה הטוב ביותר לרוב משתנה גם הוא. אצוות גדולות יכולות לפעמים להשתמש בקצבי למידה גדולים יותר, אך בדרך כלל הן זקוקות לחימום ולבדיקת ולידציה קפדנית.
סקר יציאה מקלפי עובד באותה שיטה. שאילת חמישה בוחרים נותנת ניחוש רועש. שאילת חמשת אלפים בוחרים נותנת אומדן יציב יותר, אך זה דורש יותר עבודה. גודל האצווה הוא גודל הסקר עבור הגרדיאנט. אפקט ההתייצבות הזה בדיוק מה שהאיור מדגים: לחצו הרץ וצפו בממוצע הנע של הטלות מטבע מתייצב ככל ש-n גדל. החליפו מטבעות בגרדיאנטים לפי-דוגמה ו-n ב-B, וקיבלתם את כל סיפור גודל האצווה.