ヤコビアンの幾何
第一原理からの多変数微分積分
ヤコビアンを正方にする(n個の入力、n個の出力)と、その行列式は具体的な幾何学的な仕事を持つ。線形代数から、行列の行列式は体積を拡大する因子です。ヤコビアン行列式は写像が空間の小さなパッチをどれだけ伸ばすか縮めるかを教える。
|det J| > 1なら、入力空間の小さな箱は大きく出るので、写像は拡大する。|det J| なら小さく出るので縮小する。det J = 0なら箱は平らに潰される:写像は次元を潰し局所的に非可逆。
伸縮性のあるゴムのシートに小さな正方形を描き、シートを引っ張ってグリッドを歪ませます。ヤコビ行列式は、その引き伸ばしにおいてその小さな正方形の面積がどれだけ拡大または縮小したかを教えてくれる単一の数値です。ゴムを両方向に引っ張ると正方形は膨らみ、単一の折り目に押しつぶすとその面積はゼロに落ちます。
機械学習における位置づけ単純なガウス分布を複雑なデータ分布に曲げたいとする。正規化フローはまさにそれを行い、単純な密度から複雑なものへの可逆写像gを学習する。gが空間を伸ばすと確率質量が漏れるので、変数変換公式p_X(x) = p_Z(g⁻¹(x))·|det J|がヤコビアン行列式を使って全確率を1に保つ。カップリング層や自己回帰フローのようなフローアーキテクチャはこのdet Jが計算しやすいように構築される。
▶ ヤコビアンの幾何