התניה וזיגזג

איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam

ירידת גרדיאנט מתנהגת אחרת לגמרי על משטח הפסד עגול לעומת משטח מתוח. התניה (conditioning) מודדת את המתיחה הזו. התניה גרועה גורמת לאופטימייזר לזגזג: כיוון אחד תלול, כיוון אחר שטוח.

עבור הפסד ריבועי, ההתניה נשלטת על ידי הערכים העצמיים של ההסיאן. מספר ההתניה κ הוא היחס בין העקמומיות הגדולה ביותר לקטנה ביותר.

במכונת פינבול עם באמפרים צדדיים צפופים ומסלול יציאה ארוך וצר, מכה חזקה שולחת את הכדור מקפץ מצד לצד בעוד הוא מתקדם קדימה רק לאט. התניה גרועה עושה את אותו הדבר לירידת גרדיאנט: היא מקפצת בכיוון התלול וזוחלת בכיוון השטוח. האיור למטה הוא בדיוק המכונה הזו. הזיזו את κ כדי למתוח את הקערה, הריצו את הירידה, וצפו איך המסלול מקפץ לרוחב הכיוון הצר בזמן שהוא מתקדם לאט לאורך הכיוון הארוך. (השאירו את β על 0 לעת עתה; הוא הכוכב של שיעור המומנטום.)

איפה זה ב־MLההתניה היא אחת הסיבות שהארכיטקטורה של רשת נוירונים חשובה. חיבורי שארית (residual connections), שכבות נרמול, סכמות אתחול, ואופטימייזרים אדפטיביים, כולם הופכים את ההפסד לקל יותר לניווט על ידי שינוי הגאומטריה האפקטיבית שהאימון מבוסס-הגרדיאנט רואה.
▶ התניה וזיגזג
← תזמונים וחימוםמומנטום →