微分可能性

第一原理からの1変数微分積分

関数がある点で微分可能とは、そこに単一の明確な傾きがあること:1つの接線、曖昧さなし。ほとんどの滑らかな曲線は至る所で微分可能です。しかし、完全に連続な関数でも傾きがどうしても定まらない場所があるものがあります。微分が失敗する場所を理解することは、計算することと同じくらい重要です。

関数がある点で傾きを持つなら、そこでジャンプできないので、微分可能 ⇒ 連続です。逆は偽です:関数は連続(ペンを持ち上げずに描ける)でもある点で傾きを持たないことがあります。「連続」と「微分可能」の間のギャップこそがまさに興味深い部分です。

絶対値|x|が標準例です。至る所で連続で、0での切断はありません。しかし角のすぐところで、左から来る傾きは−1、右へ去る傾きは+1です。2つの異なる傾きが鋭い点で出会うので、単一の接線がありません。微分はx = 0で存在しません。

機械学習における位置づけReLU、最も一般的な活性化関数、は文字通りmax(0, x):|x|と同じく0で角。その微分はちょうど0で未定義なので、フレームワークは単に値を選び(通常0)、「劣勾配」と呼びます。ReLUの角、L1正則化の折れ、ヒンジ損失の非滑らかさはすべて、この同じ問題が現れ劣勾配で処理される場所です。
▶ 微分可能性
← 微分基本微分ルール →