임계점 — 미적분학 I · Mathematics for Machine Learning

함수의 봉우리와 골짜기, 곧 극대와 극소를 찾으려면 평평한 지점을 찾아 나서야 합니다. 언덕 꼭대기나 골짜기 바닥에서는 접선이 수평이고 기울기가 0이 됩니다. 바로 이런 곳이 임계점입니다.

f′(x) = 0을 풀면 후보가 되는 위치들을 얻습니다. 이는 매끄러운 봉우리나 골짜기이기 위한 필요 조건이지만 충분 조건은 아닙니다. 평평한 지점이 잠깐 멈췄다 다시 나아가는 곳(안장과 비슷한 변곡)일 수도 있기 때문입니다. 어떤 종류인지는 별도의 판정법으로 확인합니다.

굽이치는 언덕을 가로지르는 하이킹을 상상해 보세요. 언덕 꼭대기를 향해 올라갈 때 발아래 땅은 위로 기울어지고, 계곡으로 내려갈 때는 반대 방향으로 기울어집니다. 언덕의 가장 꼭대기나 계곡 바닥의 가장 낮은 지점에서 땅은 일시적으로 평평해지며, 기울기는 0입니다. 이 평평한 지점들이 바로 여러분이 찾는 임계점입니다.

머신러닝에서의 위치모델을 학습시키는 일은 손실을 최소화하는 일이며, 최소는 그래디언트가 0이 되는 곳에 있습니다. 이는 임계점 조건을 여러 변수로 일반화한 것(∇L = 0)에 정확히 해당합니다. 그래디언트 디센트는 바로 그 평평한 지점을 수치적으로 찾아 나가는 과정입니다. 고차원에서는 임계점 대부분이 진짜 최소가 아니라 안장점이며, 그래서 딥러닝의 최적화가 까다롭습니다. 평평하다는 조건만으로는 제대로 도달했는지 알 수 없기 때문입니다.