中心極限定理 — 確率 · Mathematics for Machine Learning

大数の法則は標本平均がμに収束すると言う。しかしどのようにそこに到着し、残りの揺らぎはどう見えるか？中心極限定理が驚くべき答えを与える：揺らぎは元の分布が何であれ常にガウスです。

十分な独立な標本を平均すると標準化平均は標準正規に従う、元がコイン投げ、サイコロ、偏った分布であっても。これがベル曲線がこれほど頻繁に現れる理由です：多くの小さな独立な効果の和であるものはすべてガウスになる。

図は平坦なサイコロをn回振った平均を多くの試行にわたってヒストグラム化する。n = 1でヒストグラムは平坦（一様）；nを上げるとベルがどこからともなく現れ、CLTが非ガウス源からガウスを構築する。

機械学習における位置づけCLTは確率的最適化のノイズ構造を説明する。ミニバッチ勾配はバッチ例にわたる平均なので、CLTにより真の勾配のまわりの誤差は近似的にガウスで広がりσ/√(batch size)です。それが勾配ノイズが正規に見える理由、大きなバッチが比例的により滑らか（しかし√n倍のみ良い）ステップを与える理由、ベンチマーク精度の誤差範囲が正規ベースの信頼区間で計算される理由。