Регуляризация как геометрия

Как модели на самом деле обучаются — от обычного градиентного спуска до Adam

Регуляризацию часто вводят как штраф, добавляемый к потере. Геометрически она меняет, какие векторы параметров считаются «дешёвыми», а какие «дорогими». Это меняет форму всей оптимизационной задачи. Ниже повторяются два обозначения: R(θ) называет штрафной член, а λ (лямбда) задаёт, насколько сильно он учитывается.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Регуляризация как геометрия
← Оптимизация с ограничениями и проекцииМетоды второго порядка →