मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
ग्रेडिएंट डिसेंट एक गोल हानि पृष्ठ और एक खिंचे हुए पृष्ठ पर बहुत अलग व्यवहार करता है। कंडीशनिंग उस खिंचाव को मापती है। खराब कंडीशनिंग अनुकूलक को ज़िग-ज़ैग कराती है: एक दिशा खड़ी है, दूसरी सपाट।
एक द्विघात हानि के लिए, कंडीशनिंग हेसियन के आइगेन मानों से नियंत्रित होती है। कंडीशन नंबर κ सबसे बड़ी वक्रता और सबसे छोटी वक्रता का अनुपात है।
एक पिनबॉल मशीन में जिसमें तंग साइड बंपर और एक लंबी संकरी निकास लेन हो, एक तेज़ चोट गेंद को इधर-उधर उछालती है जबकि वह केवल धीरे-धीरे आगे बढ़ती है। खराब कंडीशनिंग ग्रेडिएंट डिसेंट के साथ भी यही करती है: यह खड़ी दिशा में उछलता है और सपाट दिशा में रेंगता है। नीचे दिया चित्र ठीक वही मशीन है। कटोरे को खींचने के लिए κ खिसकाएँ, डिसेंट चलाएँ, और देखें रास्ता संकरी दिशा में इधर-उधर उछलता है जबकि लंबी दिशा में धीरे-धीरे सरकता है। (अभी के लिए β को 0 पर रहने दें; यह मोमेंटम पाठ में मुख्य भूमिका निभाता है।)