이차 형식

선형 사상, 벡터, 행렬의 기하학과 대수

이차 형식 xᵀAx는 벡터를 받아 x에 대해 이차로 변하는 하나의 숫자를 돌려줍니다. ax²의 행렬판인 셈입니다. x가 모든 방향을 훑고 지나갈 때 이 숫자는 하나의 표면을 그려 내며, 행렬 A(대칭으로 본 것)가 그 표면의 형태를 결정합니다.

고윳값은 고유축을 따른 곡률이며, 그 부호가 표면을 완전하게 분류합니다. 모두 양수이면 위로 열린 그릇(양의 정부호)으로 깔끔한 최솟값을 가집니다. 모두 음수이면 돔(음의 정부호)으로 최댓값을 가집니다. 부호가 섞이면 안장(부정)으로, 어떤 방향에서는 위로, 다른 방향에서는 아래로 갑니다.

그림에서 고윳값의 부호를 바꿔 가며, 표면이 그릇과 돔과 안장 사이를 오가며 변형되는 모습을 관찰해 보세요.

머신러닝에서의 위치이차 형식 δᵀHδ는 손실을 테일러 전개했을 때의 이차 항으로, 그것이 곧 국소 곡률입니다. 양의 정부호 헤세안은 국소 최솟값(그릇)을 뜻하고, 부정인 헤세안은 안장을 뜻하는데, 고차원 손실 표면은 이 안장들로 가득합니다. 이러한 곡률 분석이 2차 최적화기(뉴턴 방법)를 구동하며, 학습이 최솟값에 갇히기보다 안장을 빠져나가는 이유를 설명해 줍니다.
▶ 이차 형식
← 투영벡터와 Rⁿ의 기하학 →