Gaussian 分布

不确定性的数学

Gaussian(正态)分布在机器学习中出现得比任何其他分布都多。只要许多小的独立影响相加,就会得到这种平滑、对称的钟形曲线。两个数字完全确定它:均值 μ(峰值所在位置)和方差 σ²(钟形有多宽)。

这个公式看起来复杂,其实活动部件不多。核心是 exp(−(x−μ)²/2σ²):到均值的距离、平方、取负,所以当你远离 μ 时密度会快速下降。前面那堆只是让面积等于 1 的归一化常数。

拖动 μ 让钟形左右移动,拖动 σ 让它变宽或变尖。小 σ 给出高而自信的尖峰;大 σ 会把信念稀薄地铺到很宽的范围。

在机器学习中的应用网络第一次接触 Gaussian 是在训练开始前:权重初始化会从按层大小缩放的正态分布中抽样(He/Xavier 初始化)。噪声模型假设残差是 Gaussian 的,这会让最小二乘回归成为最大似然拟合。VAE 的潜空间是 Gaussian 先验,而重参数化技巧用 z = μ + σ·ε、ε ~ N(0,1) 采样,也就是把 z-score 反过来运行。
▶ Gaussian 分布
← 期望与方差(连续)关键连续分布 →