期待値と分散(連続)

不確実性の数学

期待値と分散について学んだことはすべて連続変数に引き継がれる。和を積分に取り替えるだけ。PMFの重みp(x)は密度f(x) dxになり、「すべての値にわたって足す」は「直線にわたって積分する」になる。

直感は同一:E[X]は依然として密度の質量のつり合い点で、分散は依然としてその点からの平均2乗距離。線形性とスケールルールVar(aX+b)=a²Var(X)はすべて変わらずに残る。

1点に置かれているのではなく、板に沿って重さが不均等に塗りつけられたシーソーを考えてみてください。それが釣り合う単一の場所が、密度の平均であるE[X]です。重さがその支点からどれくらい遠くに投げ出されているかを平均二乗距離として測定したものがVar(X)です。つまり、中心近くに集まった重さは小さな分散を意味し、両端に押しやられた重さは大きな分散を意味します。

機械学習における位置づけ連続期待値は積分で、高次元空間にわたる積分は通常手に負えない。だからMLはモンテカルロ推定に頼る:E[g(X)] = ∫ g(x)f(x)dxをfから引いた標本xᵢにわたる平均(1/n) Σ g(xᵢ)で近似する。RLのすべての「期待報酬」とVAEのすべてのELBO項はこれらの積分の1つで、サンプリングで推定される。
▶ 期待値と分散(連続)
← PDFとCDFガウス分布 →