Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
A otimização pode falhar antes mesmo de começar se a escala inicial estiver errada. Se os pesos são pequenos demais, sinais e gradientes podem desaparecer. Se os pesos são grandes demais, ativações e gradientes podem explodir ou saturar.
A inicialização escolhe uma distribuição inicial para os pesos, de modo que o tamanho do sinal permaneça mais ou menos estável ao passar pelas camadas. Xavier e He são duas regras de inicialização comuns.
A iluminação de palco precisa começar no nível certo. Escura demais e os atores desaparecem. Clara demais e a cena estoura. A inicialização define o brilho inicial dos sinais para que cada camada consiga passar informação útil para frente e para trás. A figura abaixo mostra o perigo central em forma de matemática pura: um sinal multiplicado por aproximadamente o mesmo fator r em cada camada é uma sequência geométrica. Deslize r logo abaixo ou acima de 1 e observe o que muitas camadas fazem com ele: silêncio ou explosão. A inicialização existe para manter esse fator perto de 1.