द्वितीय-क्रम विधियाँ

मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक

प्रथम-क्रम विधियाँ ग्रेडिएंट उपयोग करती हैं। द्वितीय-क्रम विधियाँ वक्रता भी उपयोग करती हैं, आमतौर पर हेसियन के माध्यम से। वक्रता अनुकूलक को बताती है कि पैरामीटर हिलने पर ग्रेडिएंट स्वयं कैसे बदलता है।

न्यूटन विधि उस वक्रता का उपयोग एक ऐसा कदम चुनने के लिए करती है जो सीधे एक द्विघात फलन के न्यूनतम तक छलांग लगा सके। इसकी कीमत यह है कि आधुनिक न्यूरल नेटवर्क में हेसियन विशाल होते हैं।

एक क्रेन ऑपरेटर एक लोड चार्ट उपयोग करता है क्योंकि केवल दिशा काफ़ी नहीं है। लोड बूम को भी मोड़ता है, और वह मोड़ बताता है कौन-सी चाल सुरक्षित है। द्वितीय-क्रम अनुकूलन कितनी दूर चलना है यह तय करने से पहले केवल खिंचाव नहीं, मोड़ भी पढ़ता है। चित्र में आप ऑपरेटर बनते हैं: दोनों वक्रताएँ खिसकाएँ और देखें पृष्ठ एक कटोरा, एक गुंबद, या एक काठी बन जाता है। हेसियन के आइगेन मान ठीक वे दो नॉब हैं।