Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Оптимизация может провалиться ещё до старта, если неверно выбран начальный масштаб. Если веса слишком малы, сигналы и градиенты могут затухать до нуля. Если веса слишком велики, активации и градиенты могут взрываться или насыщаться.
Инициализация выбирает начальное распределение весов так, чтобы размер сигнала оставался примерно стабильным по мере прохождения через слои. Инициализация Ксавье и инициализация Хе — два распространённых правила.
Сценическому освещению нужно начинать с правильного уровня. Слишком тускло — и актёры пропадают. Слишком ярко — и сцена засвечивается. Инициализация задаёт начальную «яркость» сигналов так, чтобы каждый слой мог передавать полезную информацию вперёд и назад. Фигура ниже показывает главную опасность в чистой математике: сигнал, умножаемый примерно на один и тот же множитель r на каждом слое, — это геометрическая последовательность. Подвиньте r чуть ниже или выше 1 и понаблюдайте, что многие слои с ним сделают: тишину или взрыв. Инициализация существует именно для того, чтобы удержать этот множитель около 1.