איך מודלים בעצם לומדים — מירידת גרדיאנט הבסיסית ועד Adam
האופטימיזציה יכולה להיכשל עוד לפני שהיא מתחילה אם קנה המידה ההתחלתי שגוי. אם המשקלים קטנים מדי, אותות וגרדיאנטים עלולים להיעלם. אם המשקלים גדולים מדי, הפעלות וגרדיאנטים עלולים להתפוצץ או להירוות.
אתחול בוחר התפלגות התחלתית למשקלים כך שגודל האות נשאר יציב בערך בעודו עובר בין השכבות. אתחול Xavier ואתחול He הם שני כללים נפוצים.
תאורת במה חייבת להתחיל ברמה הנכונה. אם עמומה מדי, השחקנים נעלמים. אם בהירה מדי, הסצנה נשטפת. אתחול קובע את בהירות ההתחלה של האותות כך שכל שכבה יכולה להעביר מידע שימושי קדימה ואחורה. האיור למטה מראה את הסכנה המרכזית כמתמטיקה טהורה: אות שמוכפל בערך פחות או יותר קבוע r בכל שכבה הוא סדרה הנדסית. הזיזו את r מעט מתחת או מעל 1 וצפו מה הרבה שכבות עושות לו: שתיקה או התפוצצות. אתחול קיים כדי לשמור על הגורם הזה קרוב ל-1.