期待値

不確実性の数学

確率変数の期待値は長期的な平均です:実験を永遠に繰り返して結果を平均すれば収束する値です。可能な値の加重平均で、各値はその起こりやすさで重み付けされる:

PMFを定規に沿って置かれた重みの集まりと考えれば、E[X]はつり合い点です。それがXが実際に取り得る値である必要はない。公平なサイコロは3.5に平均するが、その面はない。

あなたが何千回もお金を投入するスロットマシンを想像してください。1回のレバーを引いたとき、大きく勝つこともあればコインを失うこともあるかもしれませんが、マシンには1プレイあたりの固定された長期的な平均支払額があり、その数字がE[X]です。たとえ1回のスピンがその額にぴったり止まることがなくても、プレイが重なるにつれて平均が少しずつ近づいていく安定した値です。

機械学習における位置づけ訓練は期待損失E_D[L(θ)]を最小化する、データ分布にわたる平均損失です。その期待値を正確に計算できないので、有限標本(訓練セット)の平均で近似し、各勾配ステップではミニバッチの平均で近似する。期待値の線形性がバッチにわたる平均勾配が真の勾配の不偏推定である理由。
▶ 期待値
← 確率変数分散 →