Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Czasem parametrom nie wolno poruszać się dowolnie. Muszą spełniać ograniczenia: nieujemne wagi, ograniczone normy, prawdopodobieństwa, które muszą pozostać nieujemne i sumować się do 1 (zbiór zwany sympleksem prawdopodobieństwa), limity uczciwości, limity bezpieczeństwa albo fizyczną wykonalność.
Optymalizacja z ograniczeniami oznacza minimalizowanie straty przy jednoczesnym pozostawaniu w dozwolonym zbiorze. Jedną z praktycznych metod jest rzutowany spadek gradientowy: wykonaj zwykły krok, a potem zrzutuj wynik z powrotem na zbiór dopuszczalny.
Robot odkurzający z paskami granicznymi może próbować przejechać przez ścianę, ale granica zawraca go do dozwolonego pokoju. Optymalizacja rzutowana działa tak samo. Krok gradientowy może wskazywać na zewnątrz, a projekcja obcina wynik z powrotem do obszaru dopuszczalnego. Rysunek poniżej pokazuje geometryczne sedno tej operacji: przeciąganie punktu w dół, do jego najbliższego przedstawiciela na dozwolonym zbiorze (tutaj: prostej). Rzutowanie na prostopadłościan albo sympleks prawdopodobieństwa korzysta z tej samej zasady najbliższego punktu, tyle że dla innego dozwolonego zbioru.