Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Optimizasyon, başlangıç ölçeği yanlışsa daha başlamadan başarısız olabilir. Ağırlıklar çok küçükse, sinyaller ve gradyanlar sönebilir. Ağırlıklar çok büyükse, aktivasyonlar ve gradyanlar patlayabilir ya da doyabilir.
Başlatma, sinyal büyüklüğünün katmanlar boyunca ilerlerken kabaca kararlı kalması için ağırlıklara bir başlangıç dağılımı seçer. Xavier ve He başlatmaları iki yaygın kuraldır.
Sahne aydınlatmasının doğru seviyede başlaması gerekir. Çok loşsa oyuncular kaybolur. Çok parlaksa sahne yıkanır. Başlatma, her katmanın ileri ve geri yararlı bilgi geçirebilmesi için sinyallerin başlangıç parlaklığını ayarlar. Aşağıdaki figür temel tehlikeyi saf matematik olarak gösterir: her katmanda kabaca aynı r faktörüyle çarpılan bir sinyal, geometrik bir dizidir. r'yi tam 1'in altına ya da üstüne kaydır ve birçok katmanın ona ne yaptığını izle: sessizlik ya da patlama. Başlatma o faktörü 1'e yakın tutmak için vardır.