अवकलनीयता

प्रथम सिद्धांतों से एक-चर कलन

एक फलन किसी बिंदु पर अवकलनीय है यदि वहाँ एक एकल, सुपरिभाषित ढाल हो: एक स्पर्श रेखा, कोई अस्पष्टता नहीं। अधिकांश चिकने वक्र सर्वत्र अवकलनीय हैं। लेकिन कुछ फलन, जबकि पूरी तरह संतत, एक ऐसे बिंदु रखते हैं जहाँ ढाल को पिन करना असंभव है। यह समझना कि अवकलज कहाँ विफल होते हैं उन्हें गणना करने जितना महत्वपूर्ण है।

यदि किसी फलन का किसी बिंदु पर ढाल है, तो वहाँ उछाल नहीं हो सकता, तो अवकलनीय ⇒ संतत। उल्टा गलत है: एक फलन संतत (बिना कलम उठाए खींचने योग्य) हो सकता है फिर भी किसी बिंदु पर ढाल रखने में विफल। "संतत" और "अवकलनीय" के बीच का अंतर ही रोचक हिस्सा है।

निरपेक्ष मान |x| मानक उदाहरण है। यह सर्वत्र संतत, 0 पर कोई टूटन नहीं। लेकिन कोने पर, बाएँ से आती ढाल −1 और दाएँ जाती +1। दो अलग ढालें एक नुकीले बिंदु पर मिलती हैं, तो कोई एकल स्पर्श नहीं। अवकलज x = 0 पर मौजूद नहीं।

ML में इसका स्थानReLU, सबसे आम सक्रियण, वास्तव में max(0, x) है: 0 पर एक कोना, |x| की तरह। इसका अवकलज ठीक 0 पर अपरिभाषित, तो ढाँचे बस एक मान चुनते हैं (आमतौर पर 0), जिसे "उपग्रेडिएंट" कहते हैं। ReLU के कोने, L1 नियमितीकरण के मोड, और हिंज हानि की अचिकनता — सभी जगह यही मुद्दा उभरता है और उपग्रेडिएंट से निपटाया जाता है।
▶ अवकलनीयता
← अवकलजमूल अवकलज नियम →