Если первая производная f′ сообщает наклон, что говорит производная от наклона? Это вторая производная f″, и она измеряет, как меняется наклон — то есть вогнутость кривой.
Просто продифференцируйте дважды. Для f(x) = x³: сначала f′ = 3x², затем f″ = 6x. Можно продолжать (третья, четвёртая), каждая дифференцирует предыдущую.
Знак f″ говорит, куда изгибается кривая. Если f″ > 0 — вогнута вверх: чашей вверх (∪), наклон растёт. Если f″ < 0 — вогнута вниз: куполом (∩), наклон убывает. Где вогнутость меняется — точка перегиба.
Где это встречается в MLВторая производная — 1-мерное зерно матрицы Гессе, таблицы всех вторых производных, используемой в оптимизации второго порядка (метод Ньютона) и для проверки, найден ли истинный минимум. Вогнутость — в точности выпуклость (следующие уроки): f″ ≥ 0 везде означает один глобальный минимум и лёгкий ландшафт оптимизации. А член второго порядка — кусок кривизны в аппроксимации Тейлора.