Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Terkadang parameter tidak diizinkan bergerak ke mana saja. Parameter itu harus memenuhi kendala: bobot nonnegatif, norm yang terbatas, probabilitas yang harus tetap nonnegatif dan berjumlah 1 (sebuah himpunan yang disebut probability simplex), batas fairness, batas keamanan, atau kelayakan fisik.
Optimisasi terkendala berarti meminimalkan loss sambil tetap berada di dalam himpunan yang diizinkan. Salah satu metode praktisnya adalah projected gradient descent: ambil langkah biasa, lalu proyeksikan kembali ke himpunan yang layak (feasible).
Robot vacuum dengan strip pembatas bisa saja mencoba bergerak menembus dinding, tetapi pembatas itu memaksanya kembali ke dalam ruangan yang diizinkan. Optimisasi terproyeksi bekerja dengan cara yang sama. Sebuah langkah gradien bisa menunjuk ke luar, lalu proyeksi meng-clip hasilnya kembali ke wilayah yang layak. Gambar di bawah ini menunjukkan inti geometris dari operasi ini: menyeret sebuah titik turun ke wakil terdekatnya pada suatu himpunan yang diizinkan (di sini, sebuah garis). Memproyeksikan ke sebuah box atau probability simplex memakai prinsip titik-terdekat yang sama dengan himpunan yang diizinkan berbeda.