기댓값과 분산 (연속)

불확실성의 수학

기댓값과 분산에 대해 배운 모든 것이 연속 변수로 그대로 이어집니다. 합을 적분으로 바꾸기만 하면 됩니다. PMF의 가중치 p(x)는 밀도 f(x) dx가 되고, «모든 값에 대해 더한다»는 «직선 위에서 적분한다»가 됩니다.

직관은 똑같습니다. E[X]는 여전히 밀도 질량의 균형점이고, 분산은 그 점으로부터 떨어진 거리의 제곱을 평균한 값입니다. 선형성과 스케일 규칙 Var(aX+b)=a²Var(X)도 아무 변화 없이 그대로 살아남습니다.

한 지점에 무게가 모여 있는 것이 아니라 판자를 따라 불균등하게 퍼져 있는 시소를 생각해 보세요. 시소가 균형을 이루는 단일 지점이 밀도의 평균인 E[X]입니다. 그 회전축에서 무게가 얼마나 멀리 떨어져 있는지 평균 제곱 거리로 측정한 것이 Var(X)입니다. 무게가 중앙 근처에 모여 있으면 분산이 작고, 양 끝으로 밀려나 있으면 분산이 큽니다.

머신러닝에서의 위치연속 기댓값은 적분인데, 고차원 공간 위의 적분은 보통 다루기가 매우 어렵습니다. 그래서 ML은 몬테카를로 추정에 기댑니다. E[g(X)] = ∫ g(x)f(x)dx를 f에서 뽑은 표본 xᵢ의 평균 (1/n) Σ g(xᵢ)으로 근사하는 것입니다. 강화학습의 모든 «기대 보상»과 VAE의 모든 ELBO 항이 바로 이런 적분이며, 샘플링으로 추정됩니다.
▶ 기댓값과 분산 (연속)
← PDF와 CDF가우시안 분포 →