Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Adam объединяет две идеи: импульс для среднего градиента и масштабирование в духе RMSProp для среднего квадрата градиента. Затем он исправляет раннее смещение, поскольку эти скользящие средние стартуют с нуля.
Благодаря этому сочетанию Adam часто становится первым выбором в глубоком обучении, особенно когда градиенты шумные, а параметры сильно различаются по масштабу.
Автопилот может одновременно пользоваться двумя приборами. Один показывает среднее направление сноса самолёта. Другой показывает, насколько турбулентным было это направление. Adam использует ту же идею: двигаться в сторону устойчивого сноса, но масштабировать движение по недавней турбулентности. На фигуре можно напрямую увидеть импульсную половину Adam: увеличьте β — и рикошет затухает. Adam добавляет сверху ещё один приём, деля шаг каждой координаты на её собственный недавний масштаб градиента.