Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
A otimização pode falhar antes de começar se a escala inicial estiver errada. Se os pesos forem demasiado pequenos, os sinais e os gradientes podem desvanecer-se. Se os pesos forem demasiado grandes, as ativações e os gradientes podem explodir ou saturar.
A inicialização escolhe uma distribuição de partida para os pesos, para que o tamanho do sinal se mantenha aproximadamente estável à medida que atravessa as camadas. A inicialização de Xavier e a de He são duas regras comuns.
A iluminação de palco tem de começar no nível certo. Demasiado ténue e os atores desaparecem. Demasiado brilhante e a cena satura. A inicialização define o brilho inicial dos sinais para que cada camada possa passar informação útil para a frente e para trás. A figura abaixo mostra o perigo central em matemática pura: um sinal multiplicado aproximadamente pelo mesmo fator r em cada camada é uma sequência geométrica. Desliza r ligeiramente abaixo ou acima de 1 e observa o que muitas camadas lhe fazem: silêncio ou explosão. A inicialização existe para manter esse fator perto de 1.