Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Фиксированная скорость обучения редко оказывается лучшей на протяжении всего обучения. В начале обучения можно позволить себе большие шаги, потому что параметры далеки от полезной настройки. Позже обучению часто нужны меньшие шаги, чтобы «улечься».
Расписание меняет η со временем. Прогрев начинается с малой скорости обучения и постепенно её увеличивает, прежде чем вступит в силу основное расписание.
Запуская воздушного змея, вы не дёргаете верёвку в полное натяжение сразу же. Вы даёте ему подняться, чувствуете ветер, а затем регулируете леску по мере того, как он стабилизируется. Прогрев — это мягкий запуск. Дальнейшее расписание — то, как вы управляете леской, когда змей уже летит.