Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Изпъкналата загуба има мощна гаранция: всеки локален минимум е глобален. Това прави оптимизацията концептуално чиста. Много класически целеви функции в машинното обучение са изпъкнали; дълбоките мрежи обикновено не са.
Изпъкналостта все пак си струва да се изучава, защото дава референтния случай. Тя ви показва как би изглеждала оптимизацията, ако нямаше лоши локални капани, усложнения от седлови точки и сериозни изненади в релефа.
Сателитната чиния има една чиста посока на прицелване, когато повърхността на сигнала е гладка и с един връх. Намачканото фолио има много малки лъскави фасети, които могат локално да уловят светлина. Изпъкналата оптимизация е по-близо до чинията; обучението на дълбока мрежа е по-близо до фолиото. Фигурата по-долу показва определящия тест върху изпъкнала крива: плъзнете двете крайни точки и забележете, че правата хорда между тях никога не пада под кривата.