Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
Por vezes os parâmetros não podem mover-se para qualquer lado. Têm de satisfazer restrições: pesos não negativos, normas limitadas, probabilidades que têm de ficar não negativas e somar 1 (um conjunto chamado simplex de probabilidade), limites de justiça, limites de segurança, ou viabilidade física.
A otimização restringida significa minimizar a loss mantendo-se dentro do conjunto permitido. Um método prático é o gradiente descendente projetado: dá um passo normal, depois projeta de volta para o conjunto viável.
Um aspirador robô com faixas delimitadoras pode tentar atravessar uma parede, mas a fronteira empurra-o de volta para a divisão permitida. A otimização projetada funciona da mesma forma. Um passo de gradiente pode apontar para fora, depois a projeção recorta o resultado de volta para a região viável. A figura abaixo mostra o coração geométrico da operação: arrastar um ponto para baixo até ao seu representante mais próximo num conjunto permitido (ali, uma reta). Projetar sobre uma caixa ou um simplex de probabilidade usa o mesmo princípio do ponto mais próximo com um conjunto permitido diferente.