Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
L'ottimizzazione può fallire prima ancora di cominciare se la scala iniziale è sbagliata. Se i pesi sono troppo piccoli, segnali e gradienti possono svanire. Se i pesi sono troppo grandi, attivazioni e gradienti possono esplodere o saturare.
L'inizializzazione sceglie una distribuzione di partenza per i pesi in modo che la dimensione del segnale resti circa stabile mentre attraversa gli strati. Xavier e He sono due regole di inizializzazione comuni.
L'illuminazione teatrale deve partire dal livello giusto. Troppo debole e gli attori scompaiono. Troppo forte e la scena si sbianca. L'inizializzazione imposta la luminosità di partenza dei segnali così che ogni strato possa passare in avanti e all'indietro informazione utile. La figura sotto mostra il pericolo centrale in pura matematica: un segnale moltiplicato per circa lo stesso fattore r a ogni strato è una successione geometrica. Sposta r appena sotto o sopra 1 e guarda cosa fanno molti strati a quel segnale: silenzio o esplosione. L'inizializzazione esiste per tenere quel fattore vicino a 1.