Analiza jednowymiarowa od pierwszych zasad
Wypukłość (ang. convexity) to kształt, który sprawia, że optymalizacja jest prosta. Funkcja wypukła w całej swojej dziedzinie wygina się w górę jak miska, i ta jedna właściwość bardzo ułatwia jej minimalizację: istnieje dokładnie jedno najniższe miejsce, a każda ścieżka w dół prowadzi prosto do niego.
Istnieją trzy równoważne sposoby na opisanie wypukłości. Po pierwsze, druga pochodna na całej dziedzinie jest nieujemna: f″(x) ≥ 0. Po drugie, krzywa wygina się ku górze i nigdzie nie wygina się w dół. Po trzecie (co jest geometryczną definicją wypukłości), cięciwa łącząca dowolne dwa punkty leży nad krzywą.
Wyobraź sobie gładką dolinę lub wnętrze miski i upuść szklaną kulkę gdziekolwiek na niej. Bez względu na to, skąd zaczyna, kulka zawsze toczy się w dół do jednego najniższego punktu i tam osiada. To jest dokładnie to, co daje ci wypukłość: jedna dolina, żadnych fałszywych den, więc każda ścieżka w dół prowadzi do jednego prawdziwego minimum.