ガウス分布

不確実性の数学

ガウス(正規)分布は機械学習で他のどれよりも頻繁に現れる。多くの小さな独立な効果が加わるときいつでも得られる滑らかで対称なベルです。2つの数がそれを完全に決める:平均μ(ピークがどこにあるか)と分散σ²(ベルがどれだけ広いか)。

公式は見た目より動く部品が少ない。中心はexp(−(x−μ)²/2σ²)です:平均からの距離を2乗し、負にするので、μから離れると密度が速く減る。手前の雑然は面積を1にする定数にすぎない。

μをドラッグしてベルを左右にスライドし、σで広げたり鋭くしたりしてください。小さいσは背が高く自信のあるスパイクを与え;大きいσは信念を広い範囲に薄く広げる。

機械学習における位置づけネットワークがガウスに触れる最初は訓練開始前です:重み初期化は層サイズでスケールされた正規分布から引く(He/Xavier初期化)。ノイズモデルはガウス残差を仮定し、それが最小二乗回帰を最尤フィットにする。VAEの潜在空間はガウス事前で、再パラメータ化トリックはε ~ N(0,1)でz = μ + σ·εをサンプリングする、それはzスコアを逆に実行したもの。
▶ ガウス分布
← 期待値と分散(連続)主要な連続分布 →