이계 도함수 판정법

제1원리에서 출발하는 일변수 미적분

임계점(f′ = 0인 곳)을 찾고 나면, 양쪽 부호를 일일이 확인하는 것보다 더 빠르게 봉우리인지 골짜기인지 가려내는 방법이 있습니다. 이계 도함수를 이용해 그곳의 오목성만 살펴보면 됩니다.

원리는 단순합니다. 평평한 지점에서 곡선이 위로 패여 있으면(아래로 볼록), 그곳은 그릇 바닥, 곧 최소입니다. 아래로 솟아 있으면(위로 볼록), 그곳은 돔 꼭대기, 곧 최대입니다.

구부러진 표면의 평평한 곳에 구슬을 놓고 물을 조금 붓는다고 상상해 보세요. 그릇은 물을 담고 바닥에서 구슬을 받쳐주며, 이것은 위를 향해 오목한 최솟값입니다. 돔은 물을 흘려보내고 꼭대기에서 구슬이 굴러떨어지게 하며, 이것은 아래를 향해 덮는 최댓값입니다. 2계 도함수는 단순히 당신이 어떤 모양 위에 서 있는지 알려줍니다.

머신러닝에서의 위치이는 다변수 최적화의 헤세 판정법으로 곧바로 일반화됩니다. 그래디언트가 0인 점에서, 양의 정부호 헤세 행렬(모든 고윳값 > 0으로, f″ > 0의 행렬 버전)은 최소를 뜻하고, 음의 정부호 행렬은 최대를, 부호가 섞이면 안장을 뜻합니다. 헤세 행렬의 고윳값을 확인하는 일은 실제 모델의 손실 곡면으로 규모를 키운 바로 이 1차원 판정법입니다.
▶ 이계 도함수 판정법
← 임계점볼록성 →