変換
第一原理からの1変数微分積分
1つの関数の形が分かれば、親族の族全体を理解するために再プロットする必要はありません。4つの単純な操作が、完全に予測可能な方法でグラフを動かし、伸ばし、反転します。それらを見ることを学べば、グラフ化は計算ではなく認識になります。
これはまさに画像編集ソフトが行うことです。ピクセルごとに絵を描き直すことは決してありません。横にずらしたり、高く引き伸ばしたり、水平に反転させたりすると、同じ形が新しい場所に着地します。関数の変換とは、写真の代わりにグラフに適用される、このいくつかのワンタップ編集と同じです。
基本形f(x)から：出力にaを掛けると垂直に伸ばす；入力にbを掛けると水平に伸ばす；内側でcを引くと右にシフト；外側でdを足すと上に持ち上げる。まとめて：
機械学習における位置づけこれは例えではありません — バッチ正規化は文字通りこの変換です。バッチ正規化層は正規化された活性化x̂を取り、γ·x̂ + βを出力します。γは学習されたスケール（上のa）、βは学習されたシフト（d）です。ネットワークは各活性化をどこに置き、どう伸ばすかを学習します。 活性化関数の形も変換です：「急な」tanhはb > 1にすぎず、softmaxの温度はロジット上の内側のスケールです。
▶ 変換