Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Гиперпараметры — это решения об обучении, задаваемые вне выучиваемых параметров: скорость обучения, размер пакета, затухание весов, длина прогрева, dropout, ширина модели и многие другие.
Поиск гиперпараметров — это процесс перебора конфигураций без самообмана. Цель не в том, чтобы найти удачный прогон. Цель — найти настройку, которая надёжно работает на валидационных данных.
Карточки образцов краски делают идею поиска наглядной. Вы не перекрашиваете всю комнату ради каждого возможного цвета. Вы тестируете структурированный набор образцов, сужаете диапазон, а затем пробуете самые многообещающие оттенки при правильном освещении. Поиск гиперпараметров сужает выбор настроек обучения точно так же. Фигура ниже показывает механизм, который оценивает каждый образец: чередующиеся блоки валидации, так что каждая настройка-кандидат оценивается на данных, на которых она никогда не обучалась. Именно эта честная оценка отличает поиск от удачного прогона.