Одномерный анализ с первых принципов
Выпуклость — форма, делающая оптимизацию лёгкой. Выпуклая функция чашей вверх везде, как миска, и одно это свойство делает её лёгкой для минимизации: есть ровно одна низшая точка, и любой путь под гору ведёт прямо к ней.
Есть три эквивалентных способа видеть выпуклость. Первый, вторая производная неотрицательна везде: f″(x) ≥ 0. Второй, кривая чашей вверх и никогда не изгибается вниз. Третий, определяющая картинка, хорда между любыми двумя точками лежит выше кривой.
Представьте себе гладкую долину или внутренность чаши, и бросьте шарик в любом её месте. Независимо от того, откуда он начнет движение, шарик всегда скатится в единственную самую низкую точку и останется там. Это именно то, что дает вам выпуклость вниз (строгая вогнутость): одна долина, никаких ложных углублений, поэтому любой путь вниз ведет к единственному истинному минимуму.