Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
A volte i parametri non possono muoversi ovunque. Devono soddisfare dei vincoli: pesi non negativi, norme limitate, probabilità che devono restare non negative e sommare a 1 (un insieme chiamato simplesso di probabilità), limiti di equità, limiti di sicurezza, o fattibilità fisica.
L'ottimizzazione vincolata significa minimizzare la loss restando all'interno dell'insieme consentito. Un metodo pratico è la discesa del gradiente proiettata: fai un passo normale, poi proietta di nuovo sull'insieme ammissibile.
Un robot aspirapolvere con strisce di confine può provare a muoversi attraverso un muro, ma il confine lo respinge di nuovo nella stanza consentita. L'ottimizzazione proiettata funziona allo stesso modo. Un passo di gradiente può puntare all'esterno, poi la proiezione riporta il risultato per clipping dentro la regione ammissibile. La figura qui sotto mostra il cuore geometrico dell'operazione: trascinare un punto fino al suo rappresentante più vicino su un insieme consentito (lì, una retta). Proiettare su un box o su un simplesso di probabilità usa lo stesso principio del punto più vicino con un insieme consentito diverso.