श्रृंखला नियम: अदिश रचना

प्रथम सिद्धांतों से बहु-चर कलन

बैकप्रोपैगेशन को उसके गणित तक उतारें और आपको यह मॉड्यूल मिलता है। बहु-चर श्रृंखला नियम बताता है कि फलनों की रचना का अवकलन कैसे करें, जो वह एक काम है जो एक ऑटोग्रेड इंजन वास्तव में करता है। हम अदिश संस्करण से शुरू करते हैं: एक इनपुट में परिवर्तन कैसे मध्यवर्ती चरों से होते हुए आउटपुट तक लहरें।

मान लें z मध्यवर्तियों y₁, y₂, … पर निर्भर करता है, जो बदले में इनपुट x पर निर्भर करते हैं। यह जानने के लिए कि z एक इनपुट के साथ कैसे बदलता है, उस इनपुट से आउटपुट तक हर पथ पर योग करें, प्रत्येक पथ पर अवकलजों को गुणा करते हुए:

प्रत्येक पद (∂z/∂yₖ)(∂yₖ/∂xᵢ) एक मार्ग का योगदान है; आप सभी मार्गों को जोड़ते हैं। यदि केवल एक पथ है, तो यह परिचित 1-D श्रृंखला नियम में सिकुड़ जाता है।

ML में इसका स्थानयह पथों-पर-योग ठीक एक नेटवर्क नोड के माध्यम से पश्चगामी पास है। प्रत्येक मध्यवर्ती yₖ एक न्यूरॉन का सक्रियण है; ∂z/∂yₖ उसमें वापस बहने वाला ग्रेडिएंट है; ∂yₖ/∂xᵢ उस संक्रिया का स्थानीय अवकलज है। गुणा करें और योग करें, और आपने ग्रेडिएंट को एक कदम पीछे प्रसारित कर दिया। इस कदम को पूरे ग्राफ़ पर दोहराएँ और आपने मॉडल प्रशिक्षित कर दिया।
▶ श्रृंखला नियम: अदिश रचना
← हेसियन ज्यामितिश्रृंखला नियम: आव्यूह रूप →