주변 분포

불확실성의 수학

결합 분포 p(x, y)가 주어졌는데 X에만 관심이 있고 Y는 잊고 싶다고 해 봅시다. 이때 주변화를 합니다. 필요 없는 변수의 모든 값에 대해 결합 분포를 합하거나(또는 적분하거나) 합니다. 그렇게 남는 것이 X만의 주변 분포입니다.

이 이름은 옛날 확률 표에서 왔습니다. 각 행을 모두 더해 그 합계를 표의 여백에 적곤 했지요. 그 행 합계가 한 변수의 주변 분포이고, 열 합계가 다른 변수의 주변 분포입니다. 주변화란 곧 «원하지 않는 변수를 적분해서 없앤다»는 뜻입니다.

그 키-몸무게 표를 가져와서, 몸무게는 완전히 무시하고 키에만 관심이 있다고 가정해 봅시다. 단순히 결합 분포 p(x, y)의 각 행을 더해 여백에 그 합계를 적으면, 그 행의 합계는 몸무게에 관계없이 각 키가 나타나는 빈도를 보여줍니다. 그 여백의 합계들만 읽는 것이 바로 하나의 변수만 단독으로 본 주변 분포 X입니다.

머신러닝에서의 위치잠재 변수를 주변화하는 일은 생성 모델링의 핵심 계산이자 핵심 골칫거리입니다. 데이터 가능도는 p(x) = ∫ p(x, z) dz = ∫ p(x | z) p(z) dz로, 가능한 모든 잠재값 z에 대한 적분입니다. 이 적분은 대개 계산이 불가능에 가깝고, 바로 그 때문에 VAE는 주변 분포를 직접 계산하는 대신 계산 가능한 하한(ELBO)을 최적화합니다.
▶ 주변 분포
← 결합 분포조건부 분포 →