Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Optimierung kann scheitern, bevor sie überhaupt beginnt, wenn die anfängliche Skala falsch ist. Sind die Gewichte zu klein, können Signale und Gradienten verschwinden. Sind die Gewichte zu groß, können Aktivierungen und Gradienten explodieren oder sättigen.
Initialisierung wählt eine Startverteilung für die Gewichte, sodass die Signalgröße auf dem Weg durch die Schichten ungefähr stabil bleibt. Xavier- und He-Initialisierung sind zwei gängige Regeln.
Bühnenbeleuchtung muss von Anfang an die richtige Helligkeit haben. Zu dunkel, und die Schauspieler verschwinden. Zu hell, und die Szene wird überstrahlt. Initialisierung legt die Ausgangshelligkeit der Signale fest, damit jede Schicht nützliche Information vorwärts und rückwärts weitergeben kann. Die Abbildung unten zeigt die zentrale Gefahr als reine Mathematik: Ein Signal, das an jeder Schicht mit ungefähr demselben Faktor r multipliziert wird, ist eine geometrische Folge. Schiebe r knapp unter oder über 1 und beobachte, was viele Schichten damit anstellen: Verstummen oder Explosion. Initialisierung existiert, um diesen Faktor nahe bei 1 zu halten.