ग्रेडिएंट डिसेंट पूर्वावलोकन

प्रथम सिद्धांतों से एक-चर कलन

मान लें आप एक वक्र का सबसे निचला बिंदु चाहते हैं लेकिन केवल अपने पैरों के नीचे की ज़मीन देख सकते हैं — आप ढाल महसूस कर सकते हैं, और बस। आप क्या करेंगे? सरल: नीचे की ढाल दिशा में कदम, फिर महसूस करें, फिर कदम। दोहराएँ। यही ग्रेडिएंट डिसेंट, वह एल्गोरिथ्म जो अनिवार्य रूप से हर आधुनिक AI मॉडल को प्रशिक्षित करता।

घने कोहरे में नीचे की ओर चलने की कल्पना करें, जो इतना घना है कि आप आगे का एक कदम भी नहीं देख सकते। आप घाटी के तल को नहीं देख सकते, लेकिन आप अभी भी अपने पैर से महसूस कर सकते हैं कि जमीन किस तरफ नीचे ढलान पर है, और उस तरफ एक कदम उठा सकते हैं। महसूस करो, कदम बढ़ाओ, महसूस करो, कदम बढ़ाओ। ग्रेडिएंट डिसेंट सबसे निचली जमीन की ओर बिल्कुल यही अंधी, धैर्यपूर्ण चाल है।

एक नियम के रूप में जो हर कदम पर आपकी स्थिति अद्यतन करता:

ML में इसका स्थानयह एक पंक्ति डीप लर्निंग में हर अनुकूलक का हृदय। भार अद्यतन भावना में समान: w ← w − η∇L, जहाँ ∇L बस बहु-आयामी अवकलज (ग्रेडिएंट) अगले कोर्स से। SGD, Adam, RMSProp और बाकी सब इस कंकाल के परिष्कार — अधिक समझदार कदम आकार, प्रवणता, प्रति-पैरामीटर दरें — लेकिन हड्डियाँ ठीक ऊपर का नियम। अ-उत्तलता कारण है गहरे नेटवर्क में कोई एक "वही" न्यूनतम नहीं, अलग-अलग यादृच्छिक आरंभीकरण से दो रन अलग-अलग जगह, और…
▶ ग्रेडिएंट डिसेंट पूर्वावलोकन
← उत्तलताव्यवस्थित रेखाचित्र प्रोटोकॉल →