श्रृंखला नियम: आव्यूह रूप

प्रथम सिद्धांतों से बहु-चर कलन

पथों-पर-योग सूत्र वास्तव में आव्यूह गुणन है जिसे पद-दर-पद लिखा गया है। जब फलन सदिश-मान होते हैं, तो श्रृंखला नियम जैकोबियनों के एक साफ़ गुणनफल में सिकुड़ जाता है, और यही वह रूप है जो वास्तविक ऑटोग्रेड प्रणालियों को चलाता है।

रचना f ∘ g के लिए, पूरे का जैकोबियन बाहरी मानचित्र का जैकोबियन (आंतरिक आउटपुट पर मूल्यांकित) गुणा आंतरिक मानचित्र का जैकोबियन है:

आकार जाँच ही इसे क्लिक कराती है। यदि g: Rⁿ → Rᵏ और f: Rᵏ → Rᵐ, तो J_g k×n है, J_f m×k है, और उनका गुणनफल m×n है, ठीक वह आकार जो समग्र मानचित्र Rⁿ → Rᵐ माँगता है। आंतरिक विमा k समाप्त हो जाती है, जैसे साधारण आव्यूह गुणन में।

ML में इसका स्थानयही गुणनफल कारण है कि गहन नेटवर्क लुप्त और विस्फोटक ग्रेडिएंट से ग्रस्त होते हैं। कई जैकोबियन गुणा करें जिनके एकवचन मान 1 से नीचे हैं और गुणनफल शून्य की ओर सिकुड़ता है; 1 से ऊपर रहें और यह बढ़ जाता है। अवशिष्ट कनेक्शन, सावधानी से प्रारंभिकीकरण, और नॉर्मलाइज़ेशन सभी इस जैकोबियन गुणनफल को एक स्वस्थ स्तर के पास रखने के लिए मौजूद हैं ताकि ग्रेडिएंट कई परतों से वापस की यात्रा बच जाएँ।
▶ श्रृंखला नियम: आव्यूह रूप
← श्रृंखला नियम: अदिश रचनागणना ग्राफ़ →