Многомерный анализ с первых принципов
Одни задачи оптимизации лёгкие, другие трудные, и одно свойство проводит границу: выпуклость. Выпуклая функция имеет единственную форму чаши без ложных днищ, так что найти место с нулевым градиентом значит найти тот самый глобальный минимум. Никаких сёдел, никаких локальных ловушек.
Определяющая картинка: функция выпукла, если прямая хорда между любыми двумя точками графика лежит выше (или на) самого графика. Функция никогда не выпячивается выше своих сокращений.
Сравните гладкую салатницу с бугристой картонкой для яиц. У миски есть одно истинное дно: скатите шарик откуда угодно, и он всегда установится в одной и той же нижней точке. Картонка для яиц полна маленьких ловушек, каждая из которых является ложным дном, останавливающим шарик до самой нижней точки. Выпуклая функция — это салатница, и этот единственный гарантированный минимум — это то, что делает её легкой для оптимизации.