मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
Adam और AdamW भार क्षय को संभालने के तरीके में भिन्न हैं। Adam एक L2 दंड को अनुकूली ग्रेडिएंट अद्यतन में मिला देता है। AdamW भार क्षय को एक अलग संकुचन कदम के रूप में लागू करता है।
यह अलगाव मायने रखता है क्योंकि Adam हर पैरामीटर के लिए ग्रेडिएंट को दोबारा स्केल करता है। अगर भार क्षय को उन ग्रेडिएंट में मिला दिया जाए, तो नियमितीकरण भी पैरामीटर-निर्भर तरीके से दोबारा स्केल हो जाता है।
एक ऐसी लाइब्रेरी सोचें जो चाहती है कि किताबें समय पर लौटाई जाएँ। हर देरी वाले दिन के लिए एक सपाट जुर्माना समझने में आसान है: यह हर उधार लेने वाले पर एक जैसे लागू होता है। जुर्माने को हर उधार लेने वाले के निजी सदस्यता सूत्र में मिला देने से दंड असमान और अनुमान लगाना कठिन हो जाता है। AdamW वह सपाट, अलग जुर्माना है; युग्मित L2 वाला Adam दंड को पहले अपनी हर-पैरामीटर मशीनरी में मिला देता है। और दंड दिया ही क्यों जाए? आकृति के पास इसका उत्तर है: बढ़ता लचीलापन प्रशिक्षण त्रुटि को लगातार घटाती रहती है जबकि सत्यापन त्रुटि आख़िरकार बढ़ने लगती है। भार क्षय उस मीठे बिंदु के पास बने रहने के मुख्य औज़ारों में से एक है।