중심 극한 정리 — 확률 · Mathematics for Machine Learning

큰 수의 법칙은 표본 평균이 μ로 수렴한다고 말합니다. 그런데 어떻게 그곳에 다다르며, 남아 있는 흔들림은 어떤 모습일까요? 중심 극한 정리가 놀라운 답을 줍니다. 그 흔들림은 어떤 분포에서 출발했든 항상 가우시안이라는 것입니다.

충분히 많은 독립 표본을 평균하면, 표준화된 평균은 표준 정규 분포를 따릅니다. 원래 데이터가 동전 던지기든, 주사위든, 한쪽으로 치우친 분포든 상관없습니다. 종 모양 곡선이 그토록 자주 나타나는 이유가 여기에 있습니다. 많은 작은 독립 효과들의 합인 것은 무엇이든 결국 가우시안이 됩니다.

그림은 평평한 주사위를 n번 굴린 평균을 여러 번 시행하여 히스토그램으로 그린 것입니다. n = 1에서는 히스토그램이 평평합니다(균일 분포). n을 키우면 어디선가 종 모양이 떠오릅니다. 중심 극한 정리가 비가우시안 원천에서 가우시안을 빚어내는 것입니다.

머신러닝에서의 위치중심 극한 정리는 확률적 최적화의 잡음 구조를 설명합니다. 미니배치 그래디언트는 배치 안 예제들에 대한 평균이므로, 중심 극한 정리에 의해 진짜 그래디언트 주위의 오차가 근사적으로 가우시안이 되며, 그 퍼짐은 σ/√(batch size)입니다. 그래서 그래디언트 잡음이 정규 분포처럼 보이고, 배치가 클수록 비례적으로 더 매끄러운(다만 √n만큼만 나아지는) 한 걸음을 내디디며, 벤치마크 정확도의 오차 막대도 정규 분포 기반 신뢰구간으로 계산합니다.