가우시안(정규) 분포는 머신러닝에서 가장 자주 등장하는 분포입니다. 작고 독립적인 효과가 여럿 더해질 때 나타나는, 부드럽고 좌우 대칭인 종 모양이지요. 단 두 개의 숫자가 이 분포를 완전히 결정합니다. 바로 평균 μ(봉우리의 위치)과 분산 σ²(종의 너비)입니다.
이 공식은 보기보다 부품이 적습니다. 핵심은 exp(−(x−μ)²/2σ²)입니다. 평균으로부터의 거리를 제곱한 뒤 음수로 만들었기 때문에, μ에서 멀어질수록 밀도가 빠르게 줄어듭니다. 앞에 붙은 복잡해 보이는 항은 전체 면적을 1로 맞추기 위한 상수일 뿐입니다.
μ를 드래그하면 종이 좌우로 움직이고, σ로는 종을 넓히거나 좁힐 수 있습니다. 작은 σ는 높고 확신에 찬 봉우리를 만들고, 큰 σ는 넓은 범위에 걸쳐 믿음을 얇게 펼칩니다.
머신러닝에서의 위치신경망이 가우시안을 처음 만나는 것은 훈련이 시작되기도 전입니다. 가중치 초기화는 층의 크기에 맞춰 스케일된 정규분포에서 값을 뽑습니다(He/Xavier 초기화). 잡음 모델은 잔차가 가우시안이라고 가정하여 최소제곱 회귀를 최대 가능도 적합으로 바꿉니다. VAE의 잠재 공간은 가우시안 사전 분포를 쓰는데, 재매개변수화 기법은 ε ~ N(0,1)로부터 z = μ + σ·ε를 샘플링하며, 이는 z-점수를 거꾸로 돌린 것입니다.