기댓값

불확실성의 수학

확률 변수의 기댓값은 장기적인 평균입니다. 실험을 한없이 반복하면서 결과를 평균 내면 수렴하게 될 값이지요. 이것은 가능한 값들의 가중 평균으로, 각 값이 얼마나 일어날 법한지에 따라 가중됩니다:

PMF를 자 위에 올려놓은 추들이라고 생각하면, E[X]는 그 균형점입니다. 기댓값이 반드시 X가 실제로 가질 수 있는 값일 필요는 없습니다. 공정한 주사위의 평균은 3.5이지만, 어떤 면에도 3.5는 적혀 있지 않습니다.

수천 번 돈을 넣고 당기는 슬롯머신을 상상해 보세요. 한 번 당길 때 큰 돈을 따거나 동전을 잃을 수도 있지만, 머신은 게임마다 정해진 장기 평균 지불 금액을 가지고 있으며, 그 숫자가 E[X]입니다. 단 한 번의 스핀이 정확히 그 값에 멈추지는 않더라도, 플레이 횟수가 쌓일수록 평균이 다가가는 일정한 값입니다.

머신러닝에서의 위치훈련이란 기대 손실 E_D[L(θ)], 즉 데이터 분포 위의 평균 손실을 최소화하는 일입니다. 이 기댓값을 정확히 계산할 수는 없으므로, 유한한 표본(훈련 세트)의 평균으로 근사하며, 각 그래디언트 step마다 미니배치를 사용합니다. 기댓값의 선형성이 바로, 배치에 대한 평균 그래디언트가 진짜 그래디언트의 불편 추정량이 되는 이유입니다.
▶ 기댓값
← 확률 변수분산 →