モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
初期のスケールが間違っていると、最適化は始まる前に失敗し得る。重みが小さすぎると、信号や勾配が消えてしまうことがある。重みが大きすぎると、活性化や勾配が爆発したり飽和したりすることがある。
初期化とは、信号の大きさが層を通り抜けるあいだ、おおむね安定したままになるように、重みの初期分布を選ぶことだ。XavierとHeの初期化が、よく使われる2つのルールだ。
舞台照明は、ちょうどよい明るさから始めなければならない。暗すぎれば役者が見えなくなり、明るすぎれば場面が白飛びしてしまう。初期化は、それぞれの層が有用な情報を前方にも後方にも伝えられるように、信号の最初の明るさを設定する。下の図は、その核心にある危険を純粋な数学として示している。あらゆる層でおおよそ同じ倍率rを掛けられる信号は、等比数列だ。rを1のわずかに下、あるいは上にスライドさせて、多くの層を経たときに何が起こるかを見てほしい。沈黙か、爆発だ。初期化は、その倍率を1の近くに保つために存在する。