線形近似

第一原理からの多変数微分積分

近くで見ると、すべての滑らかな曲面は平らに見える、足元の地球が平らに感じるように。線形近似はある点の近くの曲がった関数を、そこで接する平らな接平面で置き換える。勾配がその平面の傾きを与える。

言葉で読む:新しい値 ≈ 古い値 + 取ったステップと勾配の内積。その内積は方向微分×ステップ長で、fがどれだけ動いたかの最良の線形推測です。

ビーチボールに小さな平らなステッカーを押し付けると、それが置かれた場所で、曲面のあるボールは完全に平らに見えます。線形近似はそのステッカーです。ある1点で表面に接し、近くの曲線の代わりとなる平らな接平面です。ボールの上を遠くへさまよいすぎると、ステッカーは表面からはがれ落ち — 予測は外れてしまいます。

機械学習における位置づけ勾配降下法の1ステップは線形近似の実行です。w ← w − η∇Lの更新は損失変化が線形項∇L·δでよく予測されると仮定する。ステップが大きすぎると無視した曲率(‖δ‖²項)が反撃し、損失が行き過ぎたり発散したりする。学習率ηは曲面を平らと見なすのが十分に真に近い領域に留める。
▶ 線形近似
← 方向微分ヤコビアン →