Методы второго порядка — Оптимизация для ML

Как модели на самом деле обучаются — от обычного градиентного спуска до Adam

Методы первого порядка используют градиенты. Методы второго порядка используют ещё и кривизну, обычно через гессиан. Кривизна говорит оптимизатору, как меняется сам градиент по мере движения параметров.

Метод Ньютона использует эту кривизну, чтобы выбрать шаг, который может прыгнуть прямо в минимум квадратичной функции. Цена в том, что гессианы в современных нейронных сетях огромны.

Оператор крана пользуется таблицей нагрузок, потому что одного направления недостаточно. Груз ещё и изгибает стрелу, а этот изгиб меняет, какое движение безопасно. Оптимизация второго порядка считывает именно этот изгиб, а не только тягу, прежде чем решить, насколько далеко двигаться. На фигуре вы играете роль оператора: подвиньте две кривизны и понаблюдайте, как поверхность становится чашей, куполом или седлом. Собственные значения гессиана — это как раз эти две ручки.

Где это встречается в MLБольшие нейронные сети обычно полагаются на оптимизаторы первого порядка, потому что градиенты дёшевы благодаря обратному распространению, а полные гессианы — нет. Идеи второго порядка всё же влияют на предобуславливание, K-FAC, Shampoo, L-BFGS и исследования оптимизаторов.