모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
교대 최소제곱법, 줄여서 ALS는 미지수의 절반을 고정하면 쉬워지는 문제를 위한 최적화기입니다. 행렬 분해, 특히 추천 시스템에서 흔히 쓰입니다.
발상은 단순합니다. 아이템 인수를 고정한 채 사용자 인수를 풀고, 다음에는 사용자 인수를 고정한 채 아이템 인수를 풉니다. 재구성 결과가 더 이상 좋아지지 않을 때까지 이를 반복합니다.
텐트 기둥 두 개를 이런 식으로 조정할 수 있습니다. 둘 다 느슨하면 캔버스 모양을 한 번에 맞추기 어렵습니다. 왼쪽 기둥을 고정해 두고 오른쪽을 조정합니다. 그다음 오른쪽을 고정해 두고 왼쪽을 조정합니다. 이렇게 더 단순한 조정을 반복하면 텐트 전체가 팽팽해질 수 있습니다. 아래 그림은 그 반복 중 절반 스텝 하나를 보여 줍니다. 한쪽이 고정된 상태(고정선)에서, 다른 쪽에 대한 최선의 선택은 최소제곱 적합입니다. 목표점을 끌어 보며 적합이 그것을 뒤쫓는 모습을 지켜보세요. ALS는 단지 어느 쪽이 고정선이 될지를 번갈아 바꿀 뿐입니다.