Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
La optimización puede fallar antes de empezar si la escala inicial está mal. Si los pesos son demasiado pequeños, las señales y los gradientes pueden desvanecerse. Si los pesos son demasiado grandes, las activaciones y los gradientes pueden explotar o saturarse.
La inicialización elige una distribución de partida para los pesos, de modo que el tamaño de la señal se mantenga aproximadamente estable a medida que avanza por las capas. La inicialización de Xavier y la de He son dos reglas comunes.
La iluminación de un escenario tiene que empezar en el nivel correcto. Demasiado tenue y los actores desaparecen. Demasiado brillante y la escena se lava. La inicialización fija el brillo inicial de las señales para que cada capa pueda pasar información útil hacia adelante y hacia atrás. La figura de abajo muestra el peligro central como matemática pura: una señal multiplicada por aproximadamente el mismo factor r en cada capa es una sucesión geométrica. Desliza r justo por debajo o por encima de 1 y observa qué le hacen muchas capas: silencio o explosión. La inicialización existe para mantener ese factor cerca de 1.