미분 가능성

제1원리에서 출발하는 일변수 미적분

함수가 한 점에서 하나의, 잘 정의된 기울기를 가지면 그 점에서 미분 가능합니다. 접선이 단 하나이고 모호함이 없다는 뜻입니다. 대부분의 매끄러운 곡선은 어디에서나 미분 가능합니다. 하지만 어떤 함수는 완벽히 연속이면서도 기울기를 도무지 하나로 고정할 수 없는 지점을 가집니다. 도함수가 제대로 정의되지 못하는 곳을 이해하는 일은 도함수를 계산하는 일만큼이나 중요합니다.

함수가 한 점에서 기울기를 가진다면 그 점에 점프가 있을 수 없으므로 미분 가능하면 연속입니다. 그러나 그 역은 거짓입니다. 함수가 연속이어도(펜을 떼지 않고 그릴 수 있어도) 어떤 점에서는 기울기를 갖지 못할 수 있습니다. «연속»과 «미분 가능» 사이의 이 틈이 바로 흥미로운 대목입니다.

절댓값 함수 |x|가 대표적인 예입니다. 이 함수는 어디에서나 연속이고 0에서도 끊김이 없습니다. 하지만 모서리에서 왼쪽으로부터 들어오는 기울기는 −1이고, 오른쪽으로 나가는 기울기는 +1입니다. 서로 다른 두 기울기가 뾰족한 한 점에서 만나므로 접선을 하나로 정할 수 없습니다. 따라서 x = 0에서는 도함수가 존재하지 않습니다.

머신러닝에서의 위치가장 흔히 쓰이는 활성화 함수인 ReLU는 말 그대로 max(0, x)이며, |x|처럼 0에서 모서리를 가집니다. 0에서는 도함수가 정의되지 않으므로, 프레임워크는 그저 하나의 값을 선택해 쓰는데(보통 0), 이를 «서브그래디언트»라고 부릅니다. ReLU의 모서리, L1 정규화의 꺾임, 힌지 손실의 비매끄러움이 모두 바로 이 문제가 나타나는 곳이며, 서브그래디언트로 처리됩니다.
▶ 미분 가능성
← 도함수기본 미분 법칙 →