मॉडल वास्तव में कैसे सीखते हैं, सादे ग्रेडिएंट डिसेंट से लेकर Adam तक
एकांतर न्यूनतम वर्ग, या ALS, उन समस्याओं के लिए एक अनुकूलक है जो तब आसान हो जाती हैं जब आप आधे अज्ञात को स्थिर कर देते हैं। यह मैट्रिक्स गुणनखंडन में आम है, ख़ासकर अनुशंसा प्रणालियों में।
विचार सरल है: वस्तु कारकों (item factors) को स्थिर रखें और उपयोगकर्ता कारकों को हल करें। फिर उपयोगकर्ता कारकों को स्थिर रखें और वस्तु कारकों को हल करें। इसे तब तक दोहराएँ जब तक पुनर्निर्माण सुधरना बंद न कर दे।
दो तंबू के खंभों को इसी तरह समायोजित किया जा सकता है। अगर दोनों ढीले हों, तो कैनवस का आकार एक साथ ठीक करना मुश्किल है। बाएँ खंभे को स्थिर रखें और दाएँ को समायोजित करें। फिर दाएँ को स्थिर रखें और बाएँ को समायोजित करें। इन सरल समायोजनों को दोहराने से पूरा तंबू कस सकता है। नीचे दी गई आकृति उस लूप का एक आधा-कदम दिखाती है: एक पक्ष स्थिर (जमी हुई रेखा) होने पर, दूसरे पक्ष के लिए सबसे अच्छा विकल्प एक न्यूनतम-वर्ग फिट है। लक्ष्य को खींचें और देखें कि फिट उसका पीछा कैसे करता है; ALS बस यह बदलता रहता है कि कौन-सा पक्ष जमी हुई रेखा बनता है।