Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Optimalisatie kan al mislukken voordat ze begint als de beginschaal verkeerd is. Als gewichten te klein zijn, kunnen signalen en gradiënten wegvallen. Als gewichten te groot zijn, kunnen activaties en gradiënten exploderen of verzadigen.
Initialisatie kiest een startverdeling voor gewichten, zodat de signaalgrootte ruwweg stabiel blijft terwijl het door de lagen beweegt. Xavier- en He-initialisatie zijn twee gangbare regels.
Podiumverlichting moet op het juiste niveau beginnen. Te donker en de acteurs verdwijnen. Te fel en de scène wast uit. Initialisatie stelt de starthelderheid van signalen in, zodat elke laag nuttige informatie voorwaarts en achterwaarts kan doorgeven. De figuur hieronder toont het kerngevaar als pure wiskunde: een signaal dat bij elke laag met ongeveer dezelfde factor r vermenigvuldigd wordt, is een meetkundige rij. Schuif r net onder of boven 1 en kijk wat veel lagen ermee doen: stilte of explosie. Initialisatie bestaat om die factor dicht bij 1 te houden.