Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Оптимизация может провалиться ещё до старта, если неверно выбран начальный масштаб. Если веса слишком малы, сигналы и градиенты могут затухать до нуля. Если веса слишком велики, активации и градиенты могут взрываться или насыщаться.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Инициализация и масштаб сигнала