제약 최적화 — 미적분학 II · Mathematics for Machine Learning

흔히 우리가 원하는 것은 어디서나 가장 낮은 점이 아니라, 어떤 제약 조건 아래에서 가장 낮은 점입니다. 가중치 노름을 일정하게 제한하면서 손실을 최소화하거나, 점들이 올바르게 분류된 상태를 유지하면서 마진을 최대화하는 것이 그렇습니다. 라그랑주 승수는 제약 곡선을 따라 최적화하는 표준 도구입니다.

꼭 붙잡아야 할 기하학은 이렇습니다. 제약 조건 아래의 최적점에서는 f의 등위 곡선이 제약 g(x) = 0에 접합니다. 만약 접하지 않고 가로지른다면, 제약을 따라 더 나은 값으로 미끄러져 갈 수 있을 것입니다. 접한다는 것은 두 그래디언트가 같은 직선 위를 향한다는 것, 즉 평행하다는 뜻입니다.

스칼라 λ(라그랑주 승수)는 비례 인수입니다. 두 조건을 하나의 객체로 담으면 라그랑지안 L = f − λg가 되고, ∇L = 0으로 놓으면 위의 방정식이 그대로 복원됩니다.

머신러닝에서의 위치제약 최적화는 ML 어디에나 있습니다. 서포트 벡터 머신은 분류 제약 아래에서 마진을 최대화하며, 그 쌍대 문제는 라그랑주 승수로 구성됩니다(부등식을 다루는 확장인 KKT 조건을 통해서입니다). 가중치 노름 제약, RL의 신뢰 영역, 투영 그래디언트 방법 모두 «∇f가 ∇g에 평행»이라는 원리로 거슬러 올라갑니다. 승수 λ는 손실에 흔히 더해지는 패널티 가중치와 사실상 같은 것입니다.