極限

第一原理からの1変数微分積分

極限は慎重な問いに答えます:入力がある値aにどんどん近づくにつれて、出力はどの数に近づくか?重要なのは、aで何が起きるかは関係ないということです;関数がそこで定義されていないかもしれません。極限は近づく過程についてであって、目的地自体ではありません。

図で入力をaに向かってドラッグし、関数が独自の値を持たない小さな穴を越えても、出力が値Lに落ち着く様子を見てください。

aに左から(aより少し下の入力)または右から(少し上)近づけます。これらが2つの片側極限です。完全な(両側)極限は両側が同じ数で一致するときにのみ存在します。左が1つの値に向かい、右が別の値に向かうなら、ジャンプがあり、極限は存在しません。

機械学習における位置づけ極限は微分(傾きの極限)と積分(和の極限)の基盤で、これらは訓練の2つのエンジンです。また「収束する」の意味を定式化します:訓練損失が床に収束するのは極限です。そしてここで解除を学ぶ0/0の罠は、実践で噛みつく数値安定性の問題そのものです(例:log-of-softmaxの安全な計算)。
▶ 極限
← グラフの読み方連続性 →