प्रथम सिद्धांतों से बहु-चर कलन
f के सभी आंशिक अवकलजों को एक सदिश में जमा करें और आपको ग्रेडिएंट मिलता है, जिसे ∇f ("grad f") लिखते हैं। गहन शिक्षण का हर अनुकूलक इसी एक वस्तु पर चलता है, इसलिए यह पाठ्यक्रम के केंद्र में अपनी जगह कमाता है।
ग्रेडिएंट सिर्फ लेखा-जोखा नहीं है। इनपुट समष्टि में एक सदिश के रूप में, इसकी एक दिशा और लंबाई है, और दोनों अर्थ रखते हैं। दिशा सबसे तीखी चढ़ाई की है: ∇f के अनुदिश मुड़ें और फलन जितनी जल्दी हो सके चढ़ता है। इसकी लंबाई ‖∇f‖ ठीक उतनी ही है जितनी वह चढ़ाई तीखी है।
कल्पना करें कि आप कोहरे में घास वाली पहाड़ी पर खड़े हैं। ग्रेडिएंट (gradient) ∇f वह तीर है जो ढलान के सबसे खड़े हिस्से की ओर सीधा इशारा करता है, और इसकी लंबाई आपको बताती है कि वह चढ़ाई कितनी कठिन है। एक गेंद को नीचे रखें और छोड़ दें: वह ठीक विपरीत दिशा में लुढ़क जाती है, नीचे जाने का सबसे तेज़ रास्ता अपनाते हुए।