Многочлены Тейлора — Математический анализ I

Многочлен Тейлора приближает сложную функцию около точки простым многочленом, построенным так, чтобы совпадать со значением функции, наклоном, кривизной и так далее прямо в этой точке. Согласуйте достаточно их — и многочлен плотно обнимет кривую поблизости.

Идея слоистая. Константа совпадает с высотой. Добавьте линейный член — совпадёте и с наклоном (это касательная). Добавьте квадратичный член — совпадёте с кривизной. Каждый новый член фиксирует ещё одну производную.

Двигайте число членов на фигуре и наблюдайте, как низкопорядковый многочлен отслаивается от кривой, тогда как высокопорядковый цепляется за неё в более широком диапазоне.

Где это встречается в MLРазложение Тейлора везде в оптимизации. Градиентный спуск использует линейный (первого порядка) член Тейлора, шагая вдоль наклона. Метод Ньютона использует квадратичный член, подгоняя параболу и прыгая к её минимуму. Вся иерархия оптимизаторов сводится к «сколько членов Тейлора сохраняем?» А линеаризация нелинейности около рабочей точки — как анализируют локальное поведение сети.