मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
ग्रेडिएंट क्लिपिंग सीमित करती है कि एक अद्यतन कितना बड़ा हो सकता है। अगर कोई बैच विशाल ग्रेडिएंट पैदा करता है, तो क्लिपिंग अनुकूलक कदम से पहले उसे छोटा कर देती है।
क्लिपिंग न तो उद्देश्य ठीक करती है, न डेटा। इसे एक सुरक्षा नियम की तरह सोचें: एक चरम बैच को पैरामीटरों को हानि पृष्ठ पर उछाल कर फेंकने की अनुमति नहीं मिलनी चाहिए।
एक लिफ्ट का गति गवर्नर इसकी उपमा है। लिफ्ट सामान्य रूप से चल सकती है, पर अगर वह बहुत तेज़ चलने लगे, तो गवर्नर गति को सीमित कर देता है इससे पहले कि हरकत खतरनाक बन जाए। ग्रेडिएंट क्लिपिंग सामान्य ग्रेडिएंट को गुज़रने देती है और खतरनाक उछालों को सीमित करती है। नीचे दी गई आकृति दिखाती है कि किस वस्तु को क्लिप किया जा रहा है: बिंदु को कटोरे के चारों ओर खींचें और देखें कि सतह जैसे-जैसे खड़ी होती है, ग्रेडिएंट का तीर कैसे खिंचता है। क्लिपिंग उस तीर की लंबाई को c पर सीमित कर देती है जबकि उसकी दिशा बनाए रखती है।