Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Размер пакета, обозначаемый B, меняет шум в оценке градиента. Маленький пакет даёт шумную, но дешёвую оценку. Большой пакет даёт более устойчивую оценку, но каждое обновление обходится дороже.
Когда размер пакета меняется, лучшая скорость обучения тоже часто меняется. Большие пакеты иногда могут использовать более высокую скорость обучения, но обычно им требуется прогрев и тщательная проверка на валидации.
Экзит-полл работает точно так же. Опросить пять избирателей — получить шумную догадку. Опросить пять тысяч — получить более устойчивую оценку, но это требует больше работы. Размер пакета — это размер опроса для градиента. Именно этот стабилизирующий эффект и показывает фигура: нажмите «запустить» и понаблюдайте, как скользящее среднее подбрасываний монеты устаканивается по мере роста n. Замените монеты на градиенты по отдельным примерам, а n — на B, и вы получите всю историю про размер пакета.