Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Регуляризацию часто вводят как штраф, добавляемый к потере. Геометрически она меняет, какие векторы параметров считаются «дешёвыми», а какие «дорогими». Это меняет форму всей оптимизационной задачи. Ниже повторяются два обозначения: R(θ) называет штрафной член, а λ (лямбда) задаёт, насколько сильно он учитывается.
Два самых распространённых штрафа ведут себя по-разному: L2 плавно препятствует большим весам, тогда как у L1 есть углы, которые могут вытолкнуть некоторые веса точно в ноль.
Упаковка чемодана со строгим лимитом веса имеет ту же форму. Каждая вещь может пригодиться, но тяжёлые вещи быстро расходуют бюджет. Регуляризация заставляет большие значения параметров расходовать этот бюджет, поэтому модель сохраняет их лишь тогда, когда они приносят достаточную пользу. Фигура показывает, зачем вообще нужен такой бюджет: по мере роста гибкости модели ошибка на обучении продолжает падать, а ошибка на валидации в какой-то момент начинает снова расти. Регуляризация — это та ручка, которая сдерживает гибкость до того, как наступит этот разворот.