리만 적분 — 미적분학 I · Mathematics for Machine Learning

적분은 도함수와 짝을 이루는 질문에 답합니다. «얼마나 빨리 변하는가?»가 아니라 «얼마나 쌓였는가?» 라는 질문입니다. 기하학적으로 정적분은 곡선과 x축 사이에 갇힌 넓이입니다.

연못의 윤곽을 모눈종이 위에 그리고 그 넓이를 구하려 한다고 상상해 보세요. 물가가 구부러져 있으므로 너비 하나와 높이 하나를 곱할 수 없습니다. 그래서 윤곽선 안에 들어가는 작은 사각형의 개수를 셉니다: 사각형이 많아질수록, 격자가 더 미세해질수록 당신의 계산은 실제 넓이에 점차 가까워집니다. 리만 합은 정확히 그 개수를 세는 것이며, 적분은 사각형이 아무것도 남지 않을 만큼 줄어들 때 합이 안착하는 숫자입니다.

직사각형의 넓이는 너비 × 높이로 간단히 구해집니다. 하지만 곡선은 윗변이 울퉁불퉁해서, 곱할 단일한 높이가 없습니다. 베른하르트 리만의 아이디어는 이렇습니다. 영역을 얇은 수직 직사각형들로 잘게 나누어 각 직사각형 위에서는 곡선이 거의 평평하다고 볼 만큼 좁게 만든 뒤, 그 넓이들을 모두 더하고, 슬라이스를 점점 더 얇게 만들어 가는 것입니다.

머신러닝에서의 위치확률에서 기댓값은 곧 적분입니다. 연속 분포에 대한 어떤 양의 평균값은 E[f(X)] = ∫ f(x) p(x) dx로 주어집니다. 엔트로피는 −∫ p(x) ln p(x) dx이고, 분포의 정규화 상수도 적분이며, KL 발산도 적분입니다. 연속 확률은 그야말로 적분 그 자체입니다. 그리고 모델이 정확히 적분할 수 없는 «분포에 대한 평균»을 구해야 할 때는 차선책을 씁니다. 몬테카를로 추정은 적분을 무작위 표본에 대한 평균으로 바꾸는데, 이것이 바로 리만 합과 같은 방식입니다. 위 그림은 생성 모델의 모든 기댓값이 근사하고 있는 바로 그 대상입니다.