극한 — 미적분학 I · Mathematics for Machine Learning

극한은 한 가지 신중한 질문에 답합니다. 입력이 어떤 값 a에 점점 더 가까워질 때, 출력은 어떤 숫자로 모여드는가? 결정적으로, a에서 정확히 무슨 일이 일어나는지는 중요하지 않습니다. 함수가 그 점에서 아예 정의되지 않을 수도 있죠. 극한은 다가가는 과정에 관한 것이지, 목적지 자체에 관한 것이 아닙니다.

그림에서 입력을 a 쪽으로 드래그하면서 출력이 값 L에 자리 잡는 모습을 살펴보세요. 함수가 자기 값을 갖지 않는 작은 구멍을 사이에 두고 있을 때도 그렇습니다.

a에는 왼쪽에서(입력이 a보다 약간 작은 쪽) 다가갈 수도 있고 오른쪽에서(약간 큰 쪽) 다가갈 수도 있습니다. 이 둘이 바로 두 개의 한쪽 극한입니다. 전체(양쪽) 극한은 양쪽이 같은 숫자에 동의할 때만 존재합니다. 왼쪽이 어떤 값으로 가고 오른쪽이 다른 값으로 가면 점프가 생기고, 극한은 존재하지 않습니다.

머신러닝에서의 위치극한은 도함수(기울기의 극한)와 적분(합의 극한)을 떠받치는 기반이며, 이 둘은 훈련의 두 엔진입니다. 또한 극한은 «수렴»이 무엇을 뜻하는지를 형식화해 줍니다. 훈련 손실이 바닥값으로 수렴하는 것이 바로 극한이죠. 그리고 여기서 다루는 법을 배우는 0/0 함정은, 실제 현장에서 발목을 잡는 수치 안정성 문제(예: log-of-softmax를 안전하게 계산하기)와 정확히 같은 것입니다.