Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Редуващите се най-малки квадрати, или ALS, е оптимизатор за задачи, които стават лесни, когато замразите половината от неизвестните. Той е обичаен при матрична факторизация, особено при препоръчващи системи.
Идеята е проста: задръжте факторите на артикулите фиксирани и решете за факторите на потребителите. После задръжте факторите на потребителите фиксирани и решете за факторите на артикулите. Повтаряйте, докато реконструкцията спре да се подобрява.
Два колчета на палатка могат да се регулират по този начин. Ако и двете са разхлабени, формата на платнището е трудна за оправяне наведнъж. Задръжте лявото колче стабилно и регулирайте дясното. После задръжте дясното стабилно и регулирайте лявото. Повтарянето на тези по-прости настройки може да опъне цялата палатка. Фигурата по-долу показва една полустъпка от този цикъл: с една замразена страна (фиксираната линия), най-добрият избор за другата страна е пасване по метода на най-малките квадрати. Плъзнете целта и наблюдавайте как пасването я преследва; ALS просто редува коя страна получава ролята на замразената линия.