מעבדת אופטימייזרים

איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam

מעבדת אופטימייזרים משווה בין אופטימייזרים בתנאים מבוקרים. מריצים את אותו מודל, נתונים, גודל אצווה, תקציב תזמון, ותוכנית זרעים, ואז משנים את האופטימייזר או הגדרה אחת שלו.

בלי הבקרה הזו, השוואות אופטימייזרים הופכות לסיפורים. ריצה מהירה יותר יכולה נבעה מקצב למידה טוב יותר, תזמון שונה, או זרע בר-מזל יותר.

יום מבחנים במסלול מירוצים פועל לפי כללים דומים. כשמשווים בין שתי מכוניות, שומרים על המסלול, הצמיגים, כמות הדלק, ומזג האוויר קבועים ככל האפשר. אחרת אי אפשר לדעת אם המכונית הייתה מהירה יותר או שהתנאים היו קלים יותר. האיור למטה הוא ספסל מעבדה מוקטן: אותו משטח מתוח בכל ריצה, כש-η, β, ו-κ הם המשתנים שלכם. שנו בדיוק אחד, הריצו, והשוו מסלולים. זה כל המשמעת של השיעור הזה בוידג'ט אחד.