関数 f: Rⁿ → Rᵐ

第一原理からの多変数微分積分

これまでは出力が単一の数でした。ベクトルにも成長させてみよう。関数f: Rⁿ → Rᵐはベクトルを入力として受け取りベクトルを返す:多数の数が入り、多数の数が出る。それがニューラルネットワークの層の正確な形で、入力ベクトルが入り、変換されたベクトルが出る。

任意のベクトル値関数を理解する方法は、出力座標を1つずつ読むことです。各出力成分はそれ自体が通常のスカラー関数Rⁿ → Rで、成分関数と呼ばれる。m個を積み重ねて全体の写像になる。

ミキシングデスクは、少数の入力ダイヤルを一度に複数の出力の読み取り値に変えます。スライダーを動かすと、すべてのメーターが一緒に反応します。これは関数 f: Rⁿ → Rᵐ です。入力のベクトルが入り、出力のベクトルが出てきます。それを理解するには、各出力座標 f₁、f₂ などが、同じ入力ダイヤルから作られた独自の通常のレシピであるため、メーターを1つずつ読み取ります。

機械学習における位置づけ任意のニューラルネットワークのフォワードパスはベクトル値関数の合成です。各層は1つのf: Rⁿ → Rᵐ:線形写像Wx + bに要素ごとの非線形性が続く。小さな入力の微動がこのチェーンをどう波及するかを座標ごとに追跡することが、まさにヤコビアン(モジュール3)とバックプロパゲーション(モジュール4)が定式化するものです。
▶ 関数 f: Rⁿ → Rᵐ
← 関数 f: Rⁿ → RRⁿの極限と連続性 →