अनुकूलक लैब

मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक

एक अनुकूलक लैब नियंत्रित परिस्थितियों में अनुकूलकों की तुलना करती है। वही मॉडल, डेटा, बैच आकार, शेड्यूल बजट, और सीड योजना चलाएँ, फिर अनुकूलक या किसी एक अनुकूलक सेटिंग को बदलें।

उस नियंत्रण के बिना, अनुकूलक तुलनाएँ महज़ कहानियाँ बन जाती हैं। एक तेज़ रन ने शायद बेहतर सीखने की दर, अलग शेड्यूल, या ज़्यादा भाग्यशाली सीड इस्तेमाल किया हो।

एक रेस ट्रैक टेस्ट दिन के इसके लिए नियम होते हैं। अगर आप दो कारों की तुलना करते हैं, तो आप ट्रैक, टायर, ईंधन भार, और मौसम को जितना संभव हो नियंत्रित रखते हैं। वरना आप नहीं बता सकते कि कार तेज़ थी या हालात आसान थे। नीचे दी गई आकृति एक लघु लैब बेंच है: हर रन में वही खिंची हुई सतह, जिसमें η, β, और κ आपके चर हैं। ठीक एक को बदलें, चलाएँ, और रास्तों की तुलना करें। यही इस पाठ का पूरा अनुशासन एक विजेट में समाया है।