Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
A regularização é frequentemente introduzida como uma penalização acrescentada à loss. Geometricamente, muda que vetores de parâmetros são considerados baratos ou caros. Isso muda a forma do problema de otimização. Dois símbolos recorrem abaixo: R(θ) nomeia o termo de penalização, e λ (lambda) define quão fortemente ele conta.
As duas penalizações mais comuns comportam-se de forma diferente: L2 desencoraja pesos grandes suavemente, enquanto L1 tem cantos que podem empurrar alguns pesos exatamente para zero.
Fazer uma mala com um limite de peso estrito tem a mesma forma. Todo o item pode ajudar, mas os itens pesados esgotam o orçamento depressa. A regularização faz com que escolhas de parâmetros grandes esgotem o orçamento, pelo que o modelo só os mantém quando ajudam o suficiente. A figura mostra porque vale a pena ter o orçamento: à medida que a flexibilidade do modelo cresce, o erro de treino continua a cair enquanto o erro de validação acaba por virar para cima. A regularização é o botão que trava a flexibilidade antes de essa subida chegar.