微分
第一原理からの1変数微分積分
微分は1つの問いに答えます:ある瞬間に、関数はどれだけ速く変化しているか?幾何学的には、それはある1点での曲線の傾き、そこで曲線に接する接線の傾きです。
走っている車のスピードメーターを考えてみてください。1時間の平均速度は総距離を総時間で割ったものですが、針はもっと鋭いものを示します。つまり、まさにこの瞬間 にどれくらい速く進んでいるかです。導関数はその針であり、区間にわたって塗り広げられたものではなく、ある一瞬で凍りついた変化率です。
しかし、ここがパズルです。傾きには2点が必要:rise over run。1点だけでは測る起点がない。では、1点だけがどうやって傾きを持てるのか?コツはこっそり近づくことです。
機械学習における位置づけすべてのニューラルネットワークを訓練する勾配は、まさにこの微分を損失に適用したものです。量∂L/∂wは、ある重みwを少しずらしたときの損失の傾きです:その符号が損失を減らす方向を教え、大きさがその重みに対する損失の感度を教えます。 訓練とは:この極限を評価し(autogradエンジンが正確にやってくれる — hを縮める必要はない)、それから重みを下り坂の方向にステップするだけ。深層学習の全体がこの1つの極限の上に構築されています。
▶ 微分