고계 도함수 — 미적분학 I · Mathematics for Machine Learning

첫 번째 도함수 f′가 기울기를 알려 준다면, 그 기울기의 도함수는 무엇을 알려 줄까요? 그것이 바로 이계 도함수 f″입니다. 이는 기울기가 어떻게 변하는지를 재며, 곧 곡선의 오목성을 나타냅니다.

두 번 미분하기만 하면 됩니다. f(x) = x³의 경우, 먼저 f′ = 3x²이고 그다음 f″ = 6x입니다. 이런 식으로 삼계, 사계까지 계속 이어 갈 수 있으며, 매번 바로 앞의 도함수를 미분하면 됩니다.

f″의 부호는 곡선이 어느 쪽으로 휘는지를 알려 줍니다. f″ > 0이면 곡선은 아래로 볼록합니다. 그릇처럼 위로 오목하게 패이며(∪), 기울기가 증가합니다. f″ < 0이면 위로 볼록합니다. 돔처럼 위로 솟으며(∩), 기울기가 감소합니다. 오목성이 뒤집히는 지점이 변곡점입니다.

머신러닝에서의 위치이계 도함수는 헤세 행렬의 1차원 씨앗에 해당합니다. 헤세 행렬은 모든 이계 도함수를 모은 표로, 이계 최적화(뉴턴 방법)와, 진짜 최소를 찾았는지 확인하는 데 쓰입니다. 오목성은 곧 볼록성(다음 레슨)과 직결됩니다. 어디에서나 f″ ≥ 0이라는 것은 전역 최소가 하나뿐인, 다루기 쉬운 최적화 지형을 뜻합니다. 또한 이계 항은 테일러 근사에서 곡률을 담당하는 부분입니다.