Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
Mínimos Cuadrados Alternantes, o ALS, es un optimizador para problemas que se vuelven fáciles cuando congelas la mitad de las incógnitas. Es común en la factorización de matrices, especialmente en sistemas de recomendación.
La idea es simple: mantén fijos los factores de los ítems y resuelve para los factores de los usuarios. Luego mantén fijos los factores de los usuarios y resuelve para los factores de los ítems. Repite hasta que la reconstrucción deje de mejorar.
Dos postes de una tienda de campaña se pueden ajustar así. Si ambos están sueltos, la forma de la lona es difícil de arreglar de una vez. Mantén firme el poste izquierdo y ajusta el derecho. Luego mantén firme el derecho y ajusta el izquierdo. Repetir esos ajustes más simples puede tensar toda la tienda. La figura de abajo muestra un medio paso de ese bucle: con un lado congelado (la línea fija), la mejor elección para el otro lado es un ajuste por mínimos cuadrados. Arrastra el objetivo y observa cómo el ajuste lo persigue; ALS simplemente alterna qué lado hace de línea congelada.