Приложения — Математический анализ I

Настоящая выгода Тейлора в ML — линеаризация: замена упрямой нелинейной функции её касательной около интересующей точки. На малом диапазоне линейное приближение почти точно, а линейные вещи гораздо легче анализировать, вычислять и обдумывать.

Сигмоида σ(x) = 1/(1 + e⁻ˣ) — знакомая сжимающая нелинейность. Около x = 0 она проходит через ½ с наклоном ¼, поэтому её линейное приближение:

Плоская бумажная карта улиц рассматривает круглую Землю как плоскость в окрестностях одного города. На протяжении нескольких километров кривизна слишком мала, чтобы иметь значение, поэтому плоского листа достаточно для навигации, хотя планета на самом деле представляет собой сферу. Линеаризация делает то же самое с функцией: вблизи точки она заменяет истинную кривую касательной линией f(x) ≈ f(0) + f′(0)·x, которая достаточно точна локально и с которой гораздо проще работать.

Где это встречается в MLЛинеаризация — основной рефлекс ML. Приближения малого угла и малого входа упрощают анализ активаций (сигмоида, GELU, softmax) около их рабочей точки. Линеаризация сети вокруг текущих весов даёт взгляд нейронного касательного ядра и лежит в основе рассуждений о динамике обучения. И каждый оптимизатор первого порядка в сердце доверяет локальной линейной модели потерь на один шаг.