모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
때로는 파라미터가 아무 데나 움직일 수 없습니다. 파라미터는 제약을 만족해야 합니다. 음이 아닌 가중치, 노름의 상한, 음이 아니면서 합이 1이어야 하는 확률(확률 단체라고 부르는 집합), 공정성 한계, 안전성 한계, 또는 물리적 실현 가능성 같은 것들입니다.
제약 최적화란 허용된 집합 안에 머물면서 손실을 최소화하는 것을 뜻합니다. 실용적인 방법 하나가 투영 경사 하강법입니다. 보통의 걸음을 내딛은 다음, 실현 가능 집합으로 다시 투영하는 것입니다.
경계 테이프가 붙은 로봇 청소기는 벽을 뚫고 지나가려 할 수 있지만, 그 경계가 청소기를 다시 허용된 방 안으로 밀어 넣습니다. 투영 최적화도 같은 방식으로 작동합니다. 그래디언트 걸음이 바깥을 가리킬 수 있지만, 투영이 그 결과를 다시 실현 가능 영역 안으로 잘라 넣습니다. 아래 그림은 이 연산의 기하학적 핵심을 보여 줍니다. 어떤 점을 허용된 집합(여기서는 직선) 위의 가장 가까운 대표점으로 끌어당기는 것입니다. 상자나 확률 단체 위로의 투영도 다른 허용 집합에 대해 같은 최근접점 원리를 씁니다.