モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
パラメータがどこへでも動けるわけではないこともある。非負の重み、有界なノルム、非負で合計が1にならなければならない確率（確率単体と呼ばれる集合）、公平性の制限、安全性の制限、物理的な実現可能性といった制約を満たさなければならない。
制約付き最適化とは、許された集合の中に留まりながら損失を最小化することだ。実用的な方法のひとつが射影勾配降下法だ。普通のステップを踏んでから、実行可能集合へ射影し直す。
境界ストリップを持つロボット掃除機は壁を突き抜けようとするかもしれないが、境界がそれを許された部屋の中へ押し戻す。射影付きの最適化も同じように働く。勾配ステップが外側を指すことがあり、そのあと射影が結果を実行可能な領域の中へクリップし直す。下の図はこの操作の幾何学的な核心を示している。点を、許された集合（ここでは直線）上の最も近い代表点へ引き下ろすことだ。ボックスや確率単体への射影も、許された集合が違うだけで同じ最近点の原理を使う。