模型究竟是如何学习的——从原始梯度下降到Adam
有时候参数并不能任意移动到任何地方。它们必须满足约束：非负的权重、有界的范数、必须保持非负且和为 1 的概率（这样一个集合叫做概率单纯形）、公平性限制、安全限制，或者物理上的可行性。
约束优化的意思是在停留在允许的集合内的同时最小化损失。一种实用的方法是投影梯度下降：先走一步正常的梯度步，再把结果投影回可行集。
一个带边界警戒条的扫地机器人可能会试图穿墙而过，但边界会把它推回允许活动的房间里。投影优化的原理与此相同。一次梯度步可能指向可行集之外，接着投影会把结果裁回可行区域。下面的图展示了这个操作的几何核心：把一个点拖到它在某个允许集合（这里是一条直线）上最近的代表点。投影到一个方框或者一个概率单纯形上，用的是同样的“最近点”原理，只是允许的集合不同。