Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Метод чередующихся наименьших квадратов, или ALS, — это оптимизатор для задач, которые становятся простыми, если заморозить половину неизвестных. Он часто применяется в матричной факторизации, особенно в рекомендательных системах.
Идея проста: зафиксировать факторы объектов и найти факторы пользователей. Затем зафиксировать факторы пользователей и найти факторы объектов. Повторять, пока восстановление не перестанет улучшаться.
Так же можно настраивать две стойки палатки. Если обе шатаются, форму тента сразу не поправить. Держите левую стойку неподвижно и настраивайте правую. Затем держите неподвижно правую и настраивайте левую. Повторение таких более простых настроек может натянуть всю палатку. Фигура ниже показывает один полушаг этого цикла: с одной замороженной стороной (фиксированной линией) лучший выбор для другой стороны — это подгонка методом наименьших квадратов. Подвигайте цель и понаблюдайте, как подгонка её преследует; ALS просто чередует, какая сторона становится замороженной линией.