応用

第一原理からの1変数微分積分

MLにおけるテイラーの真の報酬は線形化です:扱いにくい非線形関数を関心のある点の近くで接線で置き換える。小さな範囲では線形近似はほぼ正確で、線形なものは解析、計算、推論がはるかに容易です。

シグモイドσ(x) = 1/(1 + e⁻ˣ)はおなじみの押しつぶし非線形性です。x = 0の近くで½を通り傾き¼なので、線形近似は:

平らな紙の市街図は、1つの都市の近くでは丸い地球を平面として扱います。数キロメートルにわたって曲率は小さすぎて問題にならないため、惑星が実際には球体であっても、平らなシートはナビゲートするのに十分なほど正確です。線形近似は関数に対しても同じことを行います:ある点の近くで、真の曲線を接線 f(x) ≈ f(0) + f′(0)·x に置き換えます。これは局所的には十分に正確であり、作業するのにはるかに簡単です。

機械学習における位置づけ線形化はMLの中核の反射です。小角・小入力近似は活性化関数(シグモイド、GELU、softmax)の動作点近くの解析を単純化する。ネットワークを現在の重みの周りで線形化するとニューラルタンジェントカーネルの視点が得られ、訓練ダイナミクスの推論の基盤となる。そしてすべての1次最適化器は、本質的に、損失の局所線形モデルを1ステップ信じている。
▶ 応用
← 主要なテイラー級数Rⁿのベクトル →