חיפוש היפרפרמטרים

איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam

היפרפרמטרים הם בחירות אימון שנקבעות מחוץ לפרמטרים הנלמדים: קצב למידה, גודל אצווה, weight decay, אורך חימום, dropout, רוחב המודל, ורבים אחרים.

חיפוש היפרפרמטרים הוא תהליך ניסוי הגדרות בלי להטעות את עצמכם. המטרה אינה למצוא ריצה בת-מזל. המטרה היא למצוא הגדרה שעובדת באופן אמין על נתוני ולידציה.

כרטיסי דוגמיות צבע הופכים את רעיון החיפוש למוחשי. לא צובעים מחדש את כל החדר עבור כל צבע אפשרי. בודקים סט מובנה של דוגמיות, מצמצמים את הטווח, ואז מנסים את הגוונים המבטיחים ביותר תחת התאורה הנכונה. חיפוש היפרפרמטרים מצמצם בחירות אימון באותה שיטה. האיור למטה מראה את המכונה שמניקדת כל דוגמית: קיפולי ולידציה מסתובבים, כך שכל הגדרה מועמדת נשפטת על נתונים שהיא מעולם לא התאמנה עליהם. הניקוד ההוגן הזה הוא מה שמבדיל חיפוש מריצה בת-מזל.