Comment les modèles apprennent réellement, de la descente de gradient classique à Adam
L'optimisation peut échouer avant même de commencer si l'échelle initiale est mauvaise. Si les poids sont trop petits, les signaux et les gradients peuvent s'évanouir. S'ils sont trop grands, les activations et les gradients peuvent exploser ou saturer.
L'initialisation choisit une distribution de départ pour les poids afin que la taille du signal reste à peu près stable en traversant les couches. Les initialisations de Xavier et de He sont deux règles courantes.
L'éclairage de scène doit démarrer au bon niveau. Trop faible et les acteurs disparaissent. Trop fort et la scène est délavée. L'initialisation fixe la luminosité de départ des signaux afin que chaque couche puisse transmettre une information utile vers l'avant et vers l'arrière. La figure ci-dessous montre le danger fondamental sous forme de pure mathématique : un signal multiplié par à peu près le même facteur r à chaque couche est une suite géométrique. Faites glisser r juste en dessous ou au-dessus de 1 et observez ce que de nombreuses couches lui font : silence ou explosion. L'initialisation existe pour maintenir ce facteur proche de 1.