Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
A regularização costuma ser apresentada como uma penalidade somada à loss. Geometricamente, ela muda quais vetores de parâmetros são considerados baratos ou caros. Isso muda a forma do problema de otimização. Dois símbolos se repetem abaixo: R(θ) nomeia o termo de penalidade, e λ (lambda) define com que força ele conta.
As duas penalidades mais comuns se comportam de forma diferente: a L2 desencoraja pesos grandes suavemente, enquanto a L1 tem cantos que podem empurrar alguns pesos exatamente para zero.
Fazer uma mala com um limite de peso rígido tem a mesma forma. Todo item pode ajudar, mas itens pesados consomem o orçamento rápido. A regularização faz com que escolhas grandes de parâmetros consumam orçamento, então o modelo só as mantém quando elas ajudam o suficiente. A figura mostra por que vale a pena ter esse orçamento: à medida que a flexibilidade do modelo cresce, o erro de treino continua caindo enquanto o erro de validação eventualmente vira para cima. A regularização é o botão que refreia a flexibilidade antes dessa virada chegar.