Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Mínimos Quadrados Alternados, ou ALS, é um otimizador para problemas que ficam fáceis quando você congela metade das incógnitas. É comum em fatoração de matrizes, especialmente em sistemas de recomendação.
A ideia é simples: mantenha os fatores dos itens fixos e resolva para os fatores dos usuários. Depois mantenha os fatores dos usuários fixos e resolva para os fatores dos itens. Repita até a reconstrução parar de melhorar.
Duas estacas de barraca podem ser ajustadas dessa forma. Se as duas estão soltas, a forma da lona é difícil de corrigir de uma vez. Segure a estaca da esquerda firme e ajuste a da direita. Depois segure a da direita firme e ajuste a da esquerda. Repetir esses ajustes mais simples pode esticar a barraca inteira. A figura abaixo mostra um meio-passo desse ciclo: com um lado congelado (a linha fixa), a melhor escolha para o outro lado é um ajuste por mínimos quadrados. Arraste o alvo e observe o ajuste persegui-lo; o ALS simplesmente alterna qual lado é a linha congelada.