模型究竟是如何学习的——从原始梯度下降到Adam
如果初始尺度不对，优化甚至可能还没开始就已经失败。如果权重太小，信号和梯度可能会消失；如果权重太大，激活值和梯度则可能爆炸或饱和。
初始化就是为权重选择一个起始分布，让信号在穿过各层时，规模能大致保持稳定。Xavier 初始化和 He 初始化是两条常见的规则。
舞台灯光必须从合适的亮度开始。太暗，演员会消失在黑暗中；太亮，整个场景又会被洗白。初始化设定的是信号的起始“亮度”，让每一层都能在正向和反向传播中传递有用的信息。下面的图把这个核心风险变成了纯粹的数学：一个信号在每一层都乘以大致相同的系数 r，构成的正是一个几何数列。把 r 稍微滑到 1 以下或以上，看看很多层叠加之后会发生什么：要么归于沉寂，要么彻底爆炸。初始化存在的意义，就是让这个系数保持在 1 附近。