मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
हाइपरपैरामीटर वे प्रशिक्षण विकल्प हैं जो सीखे गए पैरामीटर से बाहर सेट किए जाते हैं: सीखने की दर, बैच आकार, भार क्षय, वॉर्मअप की लंबाई, ड्रॉपआउट, मॉडल की चौड़ाई, और कई अन्य।
हाइपरपैरामीटर खोज खुद को धोखा दिए बिना विन्यास (configurations) आज़माने की प्रक्रिया है। लक्ष्य एक भाग्यशाली रन ढूँढ़ना नहीं है। लक्ष्य एक ऐसी सेटिंग ढूँढ़ना है जो सत्यापन डेटा पर विश्वसनीय रूप से काम करे।
पेंट स्वैच कार्ड खोज के विचार को ठोस बना देते हैं। आप हर संभावित रंग के लिए पूरे कमरे को दोबारा नहीं रंगते। आप स्वैच का एक संरचित समूह जाँचते हैं, सीमा को संकरा करते हैं, फिर सही रोशनी में सबसे आशाजनक रंगत आज़माते हैं। हाइपरपैरामीटर खोज उसी तरह प्रशिक्षण विकल्पों को संकरा करती है। नीचे दी गई आकृति वह मशीनरी दिखाती है जो हर स्वैच का स्कोर तय करती है: घूमते हुए सत्यापन फोल्ड, ताकि हर उम्मीदवार सेटिंग का मूल्यांकन उस डेटा पर हो जिस पर उसने कभी प्रशिक्षण नहीं लिया। यही ईमानदार स्कोरिंग एक खोज को एक भाग्यशाली रन से अलग करती है।