मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
मशीन लर्निंग भविष्यवाणी, वर्गीकरण, जनरेशन, अनुशंसा जैसी दिखती है। पर्दे के पीछे यह एक ही गणितीय क्रिया की पुनरावृत्ति है: कुछ संख्याएँ चुनें, मापें कि वे कितनी बुरी हैं, फिर उन संख्याओं को इस तरह बदलें कि बुराई घट जाए। यही अनुकूलन है।
ये संख्याएँ मॉडल के पैरामीटर हैं, जिन्हें आमतौर पर एक विशाल सदिश θ में इकट्ठा किया जाता है। बुराई के इस स्कोर को हानि कहते हैं, जिसे L(θ) लिखा जाता है। प्रशिक्षण का मतलब है पैरामीटर स्पेस में खोज करना, ऐसी सेटिंग की तलाश जो उस हानि को छोटा कर दे। नीचे दिया संक्षिप्त रूप ठीक यही कहता है: argmin जीतने वाला इनपुट लौटाता है (वह θ जो हानि को सबसे छोटा बनाता है), जीतने वाला स्कोर नहीं, और θ⋆ पर लगा तारा उसे उस सर्वश्रेष्ठ सेटिंग के रूप में चिह्नित करता है।
एक ग्रीनहाउस सिंचाई पैनल में हज़ारों छोटे स्प्रिंकलर ज़ोन हो सकते हैं। हर सेटिंग बदलती है कि पौधे कितने स्वस्थ बनते हैं, लेकिन पानी बह जाने के बाद ही आपको अंतिम फसल स्कोर दिखता है। एक न्यूरल नेटवर्क भी ऐसा ही है: पैरामीटर स्प्रिंकलर सेटिंग्स हैं, हानि वह फसल स्कोर है जिसे आप सुधारना चाहते हैं, और अनुकूलन कई सेटिंग्स को एक साथ बदलने का नियम है।