Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Лаборатория оптимизаторов сравнивает оптимизаторы в контролируемых условиях. Запустите одну и ту же модель, данные, размер пакета, бюджет расписания и план начальных значений, а затем измените оптимизатор или одну его настройку.
Без такого контроля сравнения оптимизаторов превращаются в байки. Более быстрый прогон мог использовать более удачную скорость обучения, другое расписание или просто более удачное начальное значение.
У тестового дня на гоночной трассе на этот счёт есть свои правила. Сравнивая две машины, вы держите трассу, шины, запас топлива и погоду максимально контролируемыми. Иначе не понять, была ли быстрее машина или просто были легче условия. Фигура ниже — миниатюрный лабораторный стенд: одна и та же вытянутая поверхность в каждом прогоне, а η, β и κ — ваши переменные. Меняйте ровно одну, запускайте и сравнивайте траектории. Это и есть вся дисциплина этого урока в одном виджете.