Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Bazen parametrelerin her yere hareket etmesine izin verilmez. Kısıtları sağlamak zorundadırlar: negatif olmayan ağırlıklar, sınırlı normlar, negatif olmayan kalması ve toplamı 1 olması gereken olasılıklar (olasılık simpleksi denen bir küme), adalet sınırları, güvenlik sınırları ya da fiziksel uygulanabilirlik.
Kısıtlı optimizasyon, izin verilen küme içinde kalırken kaybı en aza indirmek demektir. Pratik bir yöntem izdüşümlü gradyan inişidir: normal bir adım at, sonra uygun kümeye geri izdüşür.
Sınır şeritli bir robot süpürge duvardan geçmeye çalışabilir, ama sınır onu izin verilen odaya geri iter. İzdüşümlü optimizasyon da aynı şekilde çalışır. Bir gradyan adımı dışarıyı gösterebilir, sonra izdüşüm sonucu uygun bölgeye geri kırpar. Aşağıdaki şekil işlemin geometrik özünü gösterir: bir noktayı izin verilen bir küme üzerindeki (burada bir doğru) en yakın temsilcisine sürüklemek. Bir kutuya ya da bir olasılık simpleksine izdüşürmek, farklı bir izin verilen kümeyle aynı en-yakın-nokta ilkesini kullanır.