Многопроменливо смятане от първи принципи
Някои оптимизационни задачи са лесни, други – трудни, а едно свойство прокарва границата: изпъкналостта. Изпъкналата функция има форма на една-единствена купа без измамни дъна, така че намерите ли място с нулев градиент, значи сте намерили истинския глобален минимум. Без седлови точки, без локални капани.
Картината, която дефинира всичко: дадена функция е изпъкнала, ако правата отсечка (хорда) между кои да е две точки от графиката ѝ лежи над (или върху) самата графика. Функцията никога не се издига над собствените си преки пътища.
Сравнете гладка купа за салата с грапава кора за яйца. Купата има едно истинско дъно: пуснете топче откъдето и да е и то винаги се установява в една и съща най-ниска точка. Кората за яйца е пълна с малки капани, всеки от които е фалшиво дъно, което улавя топчето преди най-ниското. Една изпъкнала функция е купата за салата, и този единствен гарантиран минимум е това, което я прави лесна за оптимизиране.