Критические точки — Математический анализ I

Чтобы найти пики и впадины функции (её максимумы и минимумы), охотятся за плоскими местами. На вершине холма или дне долины касательная горизонтальна, наклон ноль. Это критические точки.

Решение f′(x) = 0 даёт кандидатов. Это необходимое условие для гладкого пика или впадины, но не вполне достаточное, ведь плоское место может быть мгновенной паузой (седлоподобный перегиб). Тип уточняют тестом.

Представьте себе поход по холмистой местности. Когда вы поднимаетесь на вершину холма, земля под вашими ботинками наклонена вверх; когда спускаетесь в долину, она наклонена в другую сторону. Прямо на самой вершине холма или в самой нижней точке долины земля на мгновение становится плоской, наклон равен нулю. Эти плоские участки и есть те самые критические точки, которые вы ищете.

Где это встречается в MLОбучение модели — минимизация потерь, а минимум там, где градиент ноль: в точности условие критической точки, обобщённое на много переменных (∇L = 0). Градиентный спуск — численная охота за этим плоским местом. В высоких размерностях большинство критических точек — седловые точки, а не истинные минимумы, поэтому оптимизация в глубоком обучении тонка: одно лишь условие плоского места не означает…