Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Değişimli En Küçük Kareler, ya da ALS, bilinmeyenlerin yarısını dondurunca kolaylaşan problemler için bir optimizerdır. Matris çarpanlaştırmada, özellikle öneri sistemlerinde yaygındır.
Fikir basittir: öğe faktörlerini sabit tut ve kullanıcı faktörleri için çöz. Sonra kullanıcı faktörlerini sabit tut ve öğe faktörleri için çöz. Yeniden inşa iyileşmeyi bırakana kadar tekrarla.
İki çadır direği bu şekilde ayarlanabilir. İkisi de gevşekse, tuval şeklini bir anda düzeltmek zordur. Sol direği sabit tut ve sağı ayarla. Sonra sağ direği sabit tut ve solu ayarla. Bu daha kolay ayarlamaları tekrarlamak tüm çadırı gerginleştirebilir. Aşağıdaki figür o döngünün bir yarım adımını gösterir: bir taraf donmuşken (sabit çizgi), diğer taraf için en iyi seçim bir en küçük kareler uydurmasıdır. Hedefi sürükle ve uydurmanın onu kovaladığını izle; ALS yalnızca hangi tarafın donmuş çizgi olacağını değiştirir.