Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Скорость обучения — это размер шага градиентного спуска. Градиент показывает, в какую сторону потеря растёт быстрее всего; оптимизатор движется в противоположную сторону. Скорость обучения η определяет, насколько далеко он сдвигается.
Слишком маленькая — и обучение еле ползёт. Слишком большая — и обновление может перескочить полезную область, начать скакать или разойтись. Большинство загадочных на первый взгляд проблем оптимизатора на самом деле — прежде всего проблемы размера шага.
Байдарка хорошо показывает этот компромисс. Крошечные гребки сохраняют контроль, но продвижение медленное. Огромные гребки могут развернуть байдарку мимо нужного русла, и тогда энергия уходит на исправление курса. Скорость обучения — это длина гребка. Попробуйте ниже: выберите старт, затем увеличивайте η между запусками и понаблюдайте, как ровное продвижение превращается в перелёты и скачки.