Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Bình phương tối thiểu luân phiên, hay ALS, là một bộ tối ưu hóa cho những bài toán trở nên dễ dàng khi bạn cố định một nửa số ẩn số. Nó thường gặp trong phân rã ma trận, đặc biệt là trong các hệ thống gợi ý.
Ý tưởng rất đơn giản: giữ cố định các nhân tố vật phẩm và giải cho các nhân tố người dùng. Rồi giữ cố định các nhân tố người dùng và giải cho các nhân tố vật phẩm. Lặp lại cho tới khi phần tái tạo ngừng cải thiện.
Hai cọc lều có thể được chỉnh theo cách này. Nếu cả hai cọc đều lỏng, hình dạng tấm bạt rất khó chỉnh cùng một lúc. Giữ chắc cọc bên trái và chỉnh cọc bên phải. Rồi giữ chắc cọc bên phải và chỉnh cọc bên trái. Lặp lại những điều chỉnh đơn giản hơn đó có thể làm căng cả cái lều. Hình bên dưới cho thấy một nửa bước của vòng lặp đó: với một bên bị đóng băng (đường thẳng cố định), lựa chọn tốt nhất cho bên còn lại là một phép khớp bình phương tối thiểu. Hãy kéo mục tiêu và xem phép khớp đuổi theo nó; ALS chỉ đơn giản là luân phiên xem bên nào được làm đường thẳng cố định.