置換積分(u-sub)
第一原理からの1変数微分積分
置換(u置換とも呼ばれる)は連鎖律を逆にする積分技法です。積分が関数とその微分のコピーを含むとき、内側を改名して複雑な合成をきれいで単純な積分に畳み込める。
レシピ:内側の関数を見つけ、u = g(x)と呼び、du = g′(x) dxを計算し、積分を完全にuで書き直す。uをうまく選べば、g′(x) dxの部分がすでにそこにあってduになり、積分は自明になる。
置換積分は、計算を行うためにお金をより単純な通貨に両替し、後で元に戻すようなものです。積分は元の x という「通貨」では厄介なので、すっきりとした単位 u に交換し、そこで簡単な計算を行い、最後に答えを x に戻します。賢く交換を選べば、面倒な計算が頭の中でできる計算に変わります。
機械学習における位置づけ置換は連鎖律の積分版で、連鎖律はバックプロパゲーションなので、これは積分側から見た同じ機構です。変数変換のアイデアは生成モデリングの正規化フローの基盤でもあり、単純な分布を複雑な分布に変換し、密度がヤコビアン因子でどう再スケールされるかを追跡する:まさに置換のg′(x)を多次元に一般化したもの。
▶ 置換積分(u-sub)