Линейное приближение — Математический анализ II

Вблизи каждая гладкая поверхность кажется плоской, как Земля под ногами. Линейное приближение заменяет кривую функцию около точки плоскостью касательной, лишь касающейся её там. Градиент задаёт наклон этой плоскости.

Словами: новое значение ≈ старое плюс градиент, скалярно умноженный на сделанный шаг. Это скалярное произведение — производная по направлению на длину шага, лучшая линейная оценка того, насколько f сдвинулась.

Прижмите маленькую плоскую наклейку к пляжному мячу, и прямо там, где она находится, изогнутый мяч выглядит совершенно плоским. Линейная аппроксимация — это и есть эта наклейка: плоская касательная плоскость, которая соприкасается с поверхностью в одной точке и заменяет кривую поблизости. Если отойти слишком далеко по мячу, наклейка отклеивается от поверхности — предсказание отклоняется.

Где это встречается в MLОдин шаг градиентного спуска и есть линейное приближение в действии. Обновление w ← w − η∇L предполагает, что изменение потери хорошо предсказывается линейным членом ∇L·δ. Когда шаг слишком велик, проигнорированная кривизна (член ‖δ‖²) кусает, и потеря может перелететь или разойтись. Скорость обучения η держит в области, где считать поверхность плоской достаточно верно.