गुणनफल और भागफल नियम

प्रथम सिद्धांतों से एक-चर कलन

जब दो फलन गुणा किए जाते हैं, आप बस उनके अवकलजों को गुणा नहीं कर सकते। यह एक लुभावना शॉर्टकट है, और गलत। सही नियम इस तथ्य का हिसाब रखता है कि दोनों कारक एक साथ बदल रहे हैं।

एक आयत कल्पना करें जिसकी चौड़ाई f और ऊँचाई g; क्षेत्रफल f·g। यदि दोनों भुजाएँ थोड़ी बढ़ें, क्षेत्रफल दो मोर्चों पर बढ़ता है: चौड़ी चौड़ाई से एक पट्टी, जोड़ ऊँची ऊँचाई से एक पट्टी। इसलिए उत्तर में दो पद, एक नहीं।

एक आयताकार बगीचे की कल्पना करें जिसकी चौड़ाई और ऊँचाई दोनों एक साथ बढ़ाई जा रही हैं। नया क्षेत्र केवल एक पट्टी नहीं है, आप लंबी चौड़ाई के साथ एक पट्टी और लंबी ऊँचाई के साथ एक पट्टी प्राप्त करते हैं। यही कारण है कि गुणन नियम में दो पद हैं: जब दो बदलती मात्राएँ गुणा होती हैं, तो प्रत्येक की वृद्धि कुल में अपना हिस्सा योगदान करती है।

ML में इसका स्थानये नियम वे बिल्डिंग ब्लॉक हैं जो autograd संयोजित करता है। एक सामान्यीकृत स्कोर जैसे softmax प्रायिकता या अटेंशन भार एक भागफल है (कुछ एक योग पर), और इसे अवकलित करने पर भागफल नियम हुड के नीचे लागू होता है। बैच-नॉर्म का स्केलिंग, लेयर-नॉर्म का मानक विचलन से भाग: जहाँ भी नेटवर्क एक सीखी हुई राशि को दूसरी से भाग देता, वहीं भागफल नियम ग्रेडिएंट इंजन लागू करता है।
▶ गुणनफल और भागफल नियम
← मूल अवकलज नियमश्रृंखला नियम →