Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Понякога параметрите нямат право да се движат навсякъде. Те трябва да удовлетворяват ограничения: неотрицателни тегла, ограничени норми, вероятности, които трябва да останат неотрицателни и да се сумират до 1 (множество, наричано вероятностен симплекс), граници за справедливост, граници за безопасност или физическа осъществимост.
Ограничената оптимизация означава минимизиране на загубата, докато оставате вътре в допустимото множество. Един практичен метод е проектирано градиентно спускане: направете обикновена стъпка, после проектирайте обратно към допустимото множество.
Робот прахосмукачка с гранични ленти може да опита да мине през стена, но границата го връща обратно в разрешената стая. Проектираната оптимизация работи по същия начин. Градиентна стъпка може да сочи навън, а после проекцията изрязва резултата обратно в допустимия регион. Фигурата по-долу показва геометричното сърце на операцията: издърпването на точка надолу до най-близкия ѝ представител в допустимо множество (там — права). Проектирането върху кутия или вероятностен симплекс използва същия принцип на най-близка точка с друго допустимо множество.