テイラー多項式

第一原理からの1変数微分積分

テイラー多項式は、複雑な関数をある点の近くで単純な多項式で近似します、その点で関数の値、傾き、曲率などに一致するよう構築されたものです。十分に多くを一致させると、多項式は近くで曲線に密着する。

アイデアは階層的です。定数は高さを合わせる。1次項を加えると傾きも合わせる(それが接線)。2次項を加えると曲率を合わせる。新しい項ごとに微分をもう1つ合わせる。

図で項の数をスライドし、低次の多項式が曲線から離れる一方、高次のものがより広い範囲で曲線に密着する様子を見てください。

機械学習における位置づけテイラー展開は最適化の至る所にある。勾配降下法は1次テイラー項を使い、傾きに沿ってステップする。ニュートン法は2次項を使い、放物線を当てはめてその最小値に跳ぶ。最適化器の全体の階層は「テイラー項をいくつ保持するか?」に帰着する。そして非線形性を動作点の近くで線形化するのがネットワークの局所挙動を分析する方法。
▶ テイラー多項式
← 部分積分(ブリーフ)主要なテイラー級数 →