मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
एक उत्तल हानि की एक शक्तिशाली गारंटी होती है: हर स्थानीय न्यूनतम वैश्विक होता है। यह अनुकूलन को वैचारिक रूप से साफ़ बनाता है। कई शास्त्रीय ML उद्देश्य उत्तल होते हैं; गहन नेटवर्क आमतौर पर नहीं।
उत्तलता सीखने लायक फिर भी है क्योंकि यह संदर्भ मामला देती है। यह बताती है कि यदि कोई बुरे स्थानीय जाल न हों, कोई काठी जटिलताएँ न हों, और कोई गंभीर परिदृश्य आश्चर्य न हों, तो अनुकूलन कैसा दिखेगा।
एक सैटेलाइट डिश की एक साफ़ लक्ष्य दिशा होती है जब सिग्नल पृष्ठ चिकना और एकल-शिखर वाला हो। सिकुड़ी हुई फ़ॉइल में कई छोटे चमकदार पहलू होते हैं जो स्थानीय रूप से रोशनी पकड़ सकते हैं। उत्तल अनुकूलन डिश के करीब है; गहन-नेटवर्क प्रशिक्षण फ़ॉइल के करीब है। नीचे दिया चित्र एक उत्तल वक्र पर निर्णायक परीक्षण दिखाता है: दोनों सिरों को खिसकाएँ और देखें कि उनके बीच की सीधी जीवा कभी वक्र से नीचे नहीं जाती।