Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Поиск скорости обучения — это короткий диагностический прогон. Начните с крошечной скорости обучения, увеличивайте её на протяжении многих мини-пакетов и наблюдайте, как реагирует потеря.
Здесь вы не пытаетесь завершить обучение — вы охотитесь за диапазоном, в котором модель начинает учиться, прежде чем потеря станет неустойчивой.
Брекетинг экспозиции в фотографии использует ту же идею. Вы делаете серию снимков от слишком тёмного до слишком светлого, а затем выбираете диапазон, где детали хорошо видны. Поиск делает то же самое с шагами обучения, разворачивая η от робкого до безрассудного и отмечая, где обучение становится чётким. Вы можете вручную разыграть такой поиск в фигуре ниже: запустите с маленьким η, подтолкните его вверх, запустите снова. Где-то плавное скольжение превращается в перелёты и скачки — это и есть край взрыва, который ищет развёртка.