連鎖律

第一原理からの1変数微分積分

連鎖律はバックプロパゲーションの基盤となるルールです。合成、つまり関数の中に関数が入ったもの(f(g(x))など)を微分する方法を教えます。

「外側の中身」を微分するには、外側の微分(内側はそのまま)を取り、それに内側の微分を掛けます。変化率はチェーンに沿って掛け合わされる。

パイプラインと考えてください:x → g → f。xの微動がg′で増幅され、その微動がさらにf′で増幅される。全増幅は2つの積です。図が合成に沿って微分が掛け合わされる様子をなぞります。

機械学習における位置づけバックプロパゲーションは連鎖律をネットワークを逆向きに走らせたものです。深いネットは1つの巨大な合成(層が次々に)で、早期の重みに関する損失の勾配は、パスに沿って掛け合わされる層ごとの局所微分の積です。これが「勾配消失」が起きる理由:小さな微分を多数掛けると積がゼロに縮む。連鎖律はバックプロパゲーションのようなものではなく、バックプロパゲーションそのものです。
▶ 連鎖律
← 積と商のルール陰関数微分 →