Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
Mínimos Quadrados Alternados, ou ALS, é um otimizador para problemas que se tornam fáceis quando congelas metade das incógnitas. É comum na fatorização de matrizes, especialmente em sistemas de recomendação.
A ideia é simples: mantém os fatores dos itens fixos e resolve para os fatores dos utilizadores. Depois mantém os fatores dos utilizadores fixos e resolve para os fatores dos itens. Repete até a reconstrução deixar de melhorar.
Duas estacas de tenda podem ser ajustadas desta forma. Se ambas estiverem soltas, a forma da lona é difícil de corrigir de uma vez. Mantém a estaca esquerda firme e ajusta a direita. Depois mantém a direita firme e ajusta a esquerda. Repetir esses ajustes mais simples pode esticar a tenda inteira. A figura abaixo mostra um meio-passo desse ciclo: com um lado congelado (a reta fixa), a melhor escolha para o outro lado é um ajuste por mínimos quadrados. Arrasta o alvo e observa o ajuste a persegui-lo; o ALS simplesmente alterna qual o lado que fica com o papel de reta congelada.