Гауссово распределение — Вероятность

Гауссово (нормальное) распределение встречается в ML чаще любого другого. Это гладкий симметричный колокол, возникающий, когда много малых независимых эффектов складываются. Два числа полностью его фиксируют: среднее μ (где пик) и дисперсия σ² (насколько широк колокол).

Формула проще, чем кажется. Сердце — exp(−(x−μ)²/2σ²): расстояние от среднего, в квадрате, со знаком минус, так что плотность быстро падает при удалении от μ. Внешний множитель — константа, делающая площадь равной 1.

Тяните μ для сдвига колокола влево/вправо и σ для расширения или сужения. Малое σ даёт высокий уверенный пик; большое σ размазывает веру по широкому диапазону.

Где это встречается в MLПервое касание сети с Гауссом — ещё до обучения: инициализация весов берёт из нормального, масштабированного по размеру слоя (He/Xavier). Модели шума предполагают гауссовы остатки, что делает регрессию наименьших квадратов оценкой максимального правдоподобия. Латентное пространство VAE — гауссов априор, трюк репараметризации сэмплирует z = μ + σ·ε с ε ~ N(0,1), это z-оценка наоборот.