मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
अगर शुरुआती स्केल गलत हो, तो अनुकूलन शुरू होने से पहले ही विफल हो सकता है। अगर भार बहुत छोटे हों, तो संकेत और ग्रेडिएंट लुप्त हो सकते हैं। अगर भार बहुत बड़े हों, तो सक्रियण (activations) और ग्रेडिएंट फट सकते हैं या संतृप्त हो सकते हैं।
आरंभीकरण भार के लिए एक शुरुआती वितरण चुनता है ताकि जैसे-जैसे संकेत परतों से गुज़रे, उसका आकार लगभग स्थिर बना रहे। Xavier और He आरंभीकरण दो आम नियम हैं।
स्टेज लाइटिंग को सही स्तर पर शुरू होना चाहिए। बहुत मद्धिम हो तो कलाकार ग़ायब हो जाते हैं। बहुत तेज़ हो तो दृश्य धुल जाता है। आरंभीकरण संकेतों की शुरुआती चमक तय करता है ताकि हर परत आगे और पीछे उपयोगी जानकारी भेज सके। नीचे दी गई आकृति मूल ख़तरे को शुद्ध गणित के रूप में दिखाती है: एक संकेत जिसे हर परत पर लगभग एक ही कारक r से गुणा किया जाए, वह एक गुणोत्तर अनुक्रम है। r को 1 से थोड़ा नीचे या ऊपर खिसकाएँ और देखें कि कई परतें इसका क्या करती हैं: मौन या विस्फोट। आरंभीकरण उस कारक को 1 के पास रखने के लिए मौजूद है।