Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Оптимизацията може да се провали, преди изобщо да е започнала, ако началният мащаб е грешен. Ако теглата са твърде малки, сигналите и градиентите могат да изчезнат. Ако теглата са твърде големи, активациите и градиентите могат да експлодират или да се насищат.
Инициализацията избира начално разпределение за теглата, така че размерът на сигнала да остане приблизително стабилен, докато преминава през слоевете. Инициализациите на Xavier и He са две често срещани правила.
Сценичното осветление трябва да започне на точното ниво. Твърде тъмно — и актьорите изчезват. Твърде ярко — и сцената избелява. Инициализацията задава началната яркост на сигналите, така че всеки слой да може да пренася полезна информация напред и назад. Фигурата по-долу показва основната опасност като чиста математика: сигнал, умножаван по приблизително еднакъв фактор r във всеки слой, е геометрична редица. Плъзнете r малко под или над 1 и вижте какво правят с него много слоеве: тишина или експлозия. Инициализацията съществува, за да държи този фактор близо до 1.