Тест второй производной — Математический анализ I

Найдя критическую точку (где f′ = 0), есть быстрый способ сказать, пик это или впадина — быстрее проверки знаков по обе стороны. Просто посмотрите на вогнутость там, используя вторую производную.

Логика проста. На плоском месте, если кривая чашей вверх (вогнута вверх), вы на дне чаши — минимум. Если куполом вниз (вогнута вниз), вы на вершине купола — максимум.

Представьте, что вы кладете шарик на плоский участок искривленной поверхности, а затем наливаете немного воды. Чаша удерживает воду и баюкает шарик на дне — это минимум, вогнутость направлена вверх. С купола вода стекает, и шарик скатывается с его вершины — это максимум, выпуклость направлена вниз. Вторая производная просто говорит вам, на какой форме вы стоите.

Где это встречается в MLЭто прямо обобщается в тест Гессе в многомерной оптимизации: в точке, где градиент ноль, положительно определённый Гессиан (все собственные значения > 0, матричная версия f″ > 0) сигнализит минимум; отрицательно определённый — максимум; смешанные знаки — седло. Проверка собственных значений Гессиана — в точности этот 1-D тест, масштабированный на поверхности потерь реальных моделей.