Rⁿの極限と連続性

第一原理からの多変数微分積分

直線上では点に2つの方向、左と右からしか近づけなかった。平面やそれ以降では、無限に多くの方向から、好きな経路で点に近づける。その余分な自由度がRⁿの極限を本当に難しくし、このレッスンはレシピというより警告です。

関数fが極限Lを点pで持つのは、どの経路で近づいても同じ値 Lに向かうときのみです。2つの異なる経路が2つの異なる答えを出すなら、極限は単に存在しません。

広場の中央にある噴水で友人と待ち合わせることにします。北の入り口、東の路地、または広場を横切る曲がりくねった対角線のどこからでもそこに向かって歩くことができますが、同じ噴水にたどり着かなければなりません。Rⁿ の極限はまさにこれを要求します。どの経路を通っても、関数は1つの値に向かわなければなりません。2つのアプローチで到達する場所が一致しない場合、待ち合わせ場所はなく、極限は存在しません。

機械学習における位置づけ勾配ベースの訓練が機能するのは、深層学習のほぼすべての関数が連続だからです:小さな重みの微動が小さな損失の変化をもたらし、勾配が意味を持つ。よく知られた例外はReLU、max(0, x)で、至る所連続だが0で微分が跳ぶキンクがある。滑らかな地形が勾配降下法が依存する規則性で、それが壊れるところ(そのキンクで)最適化は劣勾配に頼る。
▶ Rⁿの極限と連続性
← 関数 f: Rⁿ → Rᵐ偏微分 →