Analiza wielowymiarowa od pierwszych zasad
Niektóre problemy optymalizacyjne są łatwe, a inne trudne. Tę granicę wyznacza jedna właściwość: wypukłość. Funkcja wypukła ma pojedynczy kształt misy, pozbawiony fałszywych den, więc znalezienie miejsca, w którym gradient wynosi zero, jest równoznaczne ze znalezieniem globalnego minimum. Bez siodeł i lokalnych pułapek.
Definicja wizualna: funkcja jest wypukła, jeśli odcinek prostej (cięciwa) łączący dowolne dwa punkty na jej wykresie leży powyżej (lub pokrywa się z) samego wykresu. Wykres funkcji nigdy nie wybrzusza się powyżej własnych cięciw.
Porównaj gładką miskę na sałatkę z wyboistą wytłoczką na jajka. Miska ma jedno prawdziwe dno: wtocz tam szklaną kulkę z dowolnego miejsca, a zawsze zatrzyma się w tym samym najniższym punkcie. Wytłoczka na jajka jest pełna małych pułapek, a każda to fałszywe dno, które chwyta kulkę, nie pozwalając jej dotrzeć do tego najniższego. Funkcja wypukła to miska na sałatkę, a to jedno gwarantowane minimum czyni ją łatwą do optymalizacji.