Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Às vezes os parâmetros não podem se mover para qualquer lugar. Eles precisam satisfazer restrições: pesos não negativos, normas limitadas, probabilidades que devem permanecer não negativas e somar 1 (um conjunto chamado simplex de probabilidade), limites de justiça, limites de segurança, ou viabilidade física.
Otimização com restrições significa minimizar a loss permanecendo dentro do conjunto permitido. Um método prático é o gradiente descendente projetado: dar um passo normal, depois projetar de volta para o conjunto viável.
Um robô aspirador com faixas delimitadoras pode tentar atravessar uma parede, mas a faixa o empurra de volta para dentro do cômodo permitido. A otimização projetada funciona da mesma forma. Um passo de gradiente pode apontar para fora, e então a projeção recorta o resultado de volta para dentro da região viável. A figura abaixo mostra o coração geométrico da operação: arrastar um ponto até o representante mais próximo dele num conjunto permitido (ali, uma reta). Projetar sobre uma caixa ou um simplex de probabilidade usa o mesmo princípio do ponto mais próximo, com um conjunto permitido diferente.