Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Диагностика оптимизатора означает чтение хода обучения прежде, чем менять рецепт обучения. Кривая потерь, норма градиента и кривая валидации обычно подсказывают, в чём дело: в размере шага, в данных, в масштабе, в переобучении или в реальном пределе возможностей модели.
Это не гадание. У каждого типа сбоя есть характерная форма: взрывающаяся потеря, плоская потеря, шумная, но улучшающаяся потеря, падающая обучающая потеря при растущей валидационной, или внезапные значения NaN.
Тест-полоски для аквариума дают хорошую аналогию. Мутную воду не исправляют, наливая наугад какие попало химикаты. Сначала проверяют pH, аммиак и нитраты, а затем лечат именно тот показатель, который действительно плохой. Диагностика оптимизатора делает то же самое с обучением: сначала измерить, затем изменить именно то, на что указывает измерение. Используйте фигуру ниже, чтобы настроить глаз. Запустите её один раз для здорового спуска, а затем поднимите η и воспроизведите по требованию неустойчивый, скачущий паттерн.