Rⁿ에서의 극한과 연속성 — 미적분학 II · Mathematics for Machine Learning

직선 위에서는 한 점에 오직 왼쪽과 오른쪽, 두 방향에서만 다가갈 수 있었습니다. 그러나 평면과 그 너머에서는 무한히 많은 방향에서, 원하는 어떤 경로로든 점에 다가갈 수 있습니다. 이 추가된 자유로움 때문에 Rⁿ에서의 극한은 정말로 더 까다로워지며, 이번 레슨은 계산 방법이라기보다 하나의 경고에 가깝습니다.

함수 f가 점 p에서 극한 L을 가지려면, 어떤 경로로 다가가든 같은 L로 향해야 합니다. 서로 다른 두 경로가 서로 다른 답을 준다면, 그 극한은 아예 존재하지 않습니다.

당신은 광장 중앙에 있는 분수에서 친구를 만나기로 약속합니다. 북쪽 입구, 동쪽 골목, 또는 광장을 가로지르는 구불구불한 대각선 어느 쪽에서든 그곳을 향해 걸어갈 수 있지만, 반드시 같은 분수에서 만나야 합니다. Rⁿ에서의 극한도 정확히 이를 요구합니다: 당신이 어느 경로를 선택하든 함수는 반드시 하나의 값을 향해 가야 합니다. 두 가지 접근 방식이 도달하는 위치에 동의하지 않으면 만나는 장소는 없으며, 극한은 존재하지 않습니다.

머신러닝에서의 위치그래디언트 기반 학습이 작동하는 까닭은 딥러닝에 등장하는 거의 모든 함수가 연속이기 때문입니다. 가중치를 조금 흔들면 손실도 조금만 변하므로, 그래디언트가 의미를 가집니다. 잘 알려진 예외는 ReLU, 즉 max(0, x)입니다. 이 함수는 어디에서나 연속이지만, 0에서 도함수가 갑자기 바뀌는 꺾임을 가집니다. 매끄러운 풍경은 그래디언트 강하법이 의존하는 규칙성이며, 그 규칙성이 깨지는 곳(바로 그 꺾임)에서는 최적화가 서브그래디언트로 물러섭니다.