積と商のルール
第一原理からの1変数微分積分
2つの関数が掛け合わされているとき、微分同士を掛けるだけではいけません。それは魅力的な近道で、間違っています。正しいルールは、両方の因子が同時に変化しているという事実を考慮します。
幅がf、高さがgの長方形を想像してください;面積はf·gです。両辺が少し大きくなると、面積は2つの面で増えます:広い幅からの帯と、高い高さからの帯。だから答えは2項になり、1項ではない。
幅と高さが 両方とも 同時に拡張されている長方形の庭を想像してください。新しい面積は単なる1つの帯ではありません。長くなった幅に沿った帯 と 高くなった高さに沿った帯を得ます。積の法則に2つの項があるのはそのためです。変化する2つの量が掛け合わされるとき、それぞれの成長が全体に対して独自の切り身を提供します。
機械学習における位置づけこれらのルールはautogradが合成する構成要素です。softmax確率やアテンション重みのような正規化されたスコアは商(何かを和で割ったもの)で、その微分は裏で商のルールを使います。バッチ正規化のスケーリング、レイヤー正規化の標準偏差による除算:ネットワークが1つの学習された量を別の量で割るどこでも、商のルールが勾配エンジンが適用するものです。
▶ 積と商のルール