Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Optymalizacja może zawieść, zanim się zacznie, jeśli początkowa skala jest błędna. Jeśli wagi są zbyt małe, sygnały i gradienty mogą zaniknąć. Jeśli wagi są zbyt duże, aktywacje i gradienty mogą eksplodować albo się nasycić.
Inicjalizacja wybiera rozkład początkowy dla wag, tak by rozmiar sygnału pozostawał z grubsza stabilny w miarę przechodzenia przez warstwy. Inicjalizacja Xaviera i He to dwie popularne reguły.
Oświetlenie sceniczne musi zacząć na właściwym poziomie. Zbyt ciemno i aktorzy znikają. Zbyt jasno i scena się wypala. Inicjalizacja ustawia początkową jasność sygnałów, tak by każda warstwa mogła przekazywać użyteczną informację w przód i w tył. Poniższy rysunek pokazuje główne niebezpieczeństwo jako czystą matematykę: sygnał mnożony przez mniej więcej ten sam czynnik r w każdej warstwie jest ciągiem geometrycznym. Przesuń r tuż poniżej albo powyżej 1 i zobacz, co wiele warstw z nim zrobi: cisza albo eksplozja. Inicjalizacja istnieje po to, by utrzymać ten czynnik blisko 1.