ヤコビアン

第一原理からの多変数微分積分

出力もベクトルのとき、関数f: Rⁿ → Rᵐでは、勾配1つでは足りない。すべての出力のすべての入力に対する偏微分が必要です。すべてを行列に積むとヤコビアンJが得られ、ベクトル値写像の完全な第1微分です。

Jの行iはi番目の出力の勾配です。だからヤコビアンは勾配の積み重ねで、出力座標ごとに1つ。その形はm × n:出力の数の行、入力の数の列。

サウンドエンジニアのミキシングデスクを考えてみてください。すべての出力チャンネルがすべての入力ノブに反応します。ヤコビ行列は、その感度表を書き出したものです。各エントリは、1つの入力ノブを動かしたときに1つの出力がどれだけ動くかを示しています。行を横に読むと、1つの出力を駆動するすべてのものがわかります。列を下に読むと、1つのノブが制御するすべてのものがわかります。

機械学習における位置づけ層のヤコビアンは入力の小さな摂動が出力をどう変えるか、その層の局所の伸び縮みを言う。バックプロパゲーションはこれらの層ごとのヤコビアンを掛け合わせるだけ(次のモジュール)。勾配の消失や爆発を懸念するとき、その層ヤコビアンの積がゼロに縮むか爆発することを懸念している。
▶ ヤコビアン
← 線形近似ヤコビアンの幾何 →