연속성

제1원리에서 출발하는 일변수 미적분

비공식적으로 말하면, 펜을 떼지 않고 한 번에 그릴 수 있는 함수가 연속 함수입니다. 구멍도, 점프도, 갑작스러운 발산도 없는 것이죠. 이를 정확하게 다듬은 것이 바로 앞에서 배운 극한입니다. 모든 점에서, 함수가 향하는 곳이 실제로 있는 곳과 일치해야 한다는 것입니다.

세 가지가 모두 맞아떨어져야 합니다. f(a)가 존재하고, 극한이 존재하며, 그 둘이 같아야 합니다. 이 셋 중 하나라도 어긋나면 불연속이 생기는데, 그 종류는 정확히 세 가지입니다.

제거 가능 불연속은 점 하나가 빠진 구멍입니다. 극한은 존재하지만 함수가 그 값을 건너뛴 경우죠((x²−4)/(x−2)의 구멍처럼 말입니다). 점프 불연속은 왼쪽 극한과 오른쪽 극한이 서로 달라서 그래프가 한 높이에서 다른 높이로 훌쩍 건너뛰는 경우입니다. 무한 불연속은 수직 점근선으로, 함수가 ±∞로 솟구치는 경우입니다(0에서의 1/x처럼 말이죠).

머신러닝에서의 위치연속성이야말로 그래디언트 디센트가 애초에 작동하게 해 주는 것입니다. 연속이면서 매끄러운 손실 표면에는 갑작스러운 절벽이 없으므로, 작은 한 걸음이 손실을 조금씩, 그리고 예측 가능하게만 바꿉니다. 중간값 정리는 근 찾기와 이분법이 수렴을 보장받는 이유입니다. 그리고 세 가지 불연속 유형은, 손실 최적화를 어렵게 만드는 바로 그 병리적 상황들입니다.
▶ 연속성
← 극한도함수 →