Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Đôi khi các tham số không được phép di chuyển đến bất cứ đâu. Chúng phải thỏa mãn các ràng buộc: trọng số không âm, chuẩn bị giới hạn, xác suất phải giữ không âm và có tổng bằng 1 (một tập hợp gọi là đơn hình xác suất), giới hạn công bằng, giới hạn an toàn, hay tính khả thi vật lý.
Tối ưu hóa có ràng buộc nghĩa là cực tiểu hóa hàm mất mát trong khi vẫn ở bên trong tập được phép. Một phương pháp thực tế là gradient descent có chiếu: thực hiện một bước bình thường, rồi chiếu trở lại tập khả thi.
Một robot hút bụi với dải ranh giới có thể cố di chuyển xuyên qua tường, nhưng ranh giới đẩy nó trở lại căn phòng được phép. Tối ưu hóa có chiếu hoạt động theo cùng cách. Một bước gradient có thể chỉ ra bên ngoài, rồi phép chiếu cắt kết quả trở lại vùng khả thi. Hình bên dưới cho thấy trái tim hình học của thao tác này: kéo một điểm xuống điểm đại diện gần nhất của nó trên một tập được phép (ở đây, một đường thẳng). Chiếu lên một hộp hay một đơn hình xác suất dùng cùng nguyên lý điểm gần nhất đó với một tập được phép khác.