Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Wypukła strata daje potężną gwarancję: każde minimum lokalne jest zarazem globalne. To sprawia, że optymalizacja jest koncepcyjnie czysta. Wiele klasycznych celów w ML jest wypukłych; głębokie sieci zwykle nie są.
Wypukłość wciąż warto poznać, bo daje przypadek odniesienia. Mówi, jak wyglądałaby optymalizacja, gdyby nie było złych, lokalnych pułapek, komplikacji związanych z punktami siodłowymi ani poważnych niespodzianek krajobrazu.
Antena satelitarna ma jeden czysty kierunek celowania, gdy powierzchnia sygnału jest gładka i ma jeden szczyt. Pomięta folia ma mnóstwo drobnych, błyszczących ścianek, które mogą lokalnie łapać światło. Optymalizacja wypukła jest bliższa antenie; trening głębokiej sieci bliższy folii. Rysunek poniżej pokazuje definiujący test na wypukłej krzywej: przesuń dwa końce i zauważ, że łącząca je prosta cięciwa nigdy nie schodzi poniżej krzywej.