Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Alternating Least Squares, oftewel ALS, is een optimizer voor problemen die eenvoudig worden zodra je de helft van de onbekenden bevriest. Het komt veel voor bij matrixfactorisatie, vooral bij aanbevelingssystemen.
Het idee is simpel: houd de itemfactoren vast en los de gebruikersfactoren op. Houd dan de gebruikersfactoren vast en los de itemfactoren op. Herhaal dit tot de reconstructie niet meer verbetert.
Twee tentstokken kun je op deze manier bijstellen. Als beide los staan, is de vorm van het tentdoek moeilijk in één keer te herstellen. Houd de linkerstok stil en stel de rechter bij. Houd dan de rechterstok stil en stel de linker bij. Deze eenvoudigere aanpassingen herhalen kan de hele tent strak trekken. De figuur hieronder toont één halve stap van die lus: met één kant bevroren (de vaste lijn) is de beste keuze voor de andere kant een kleinste-kwadratenfit. Sleep het doel en kijk hoe de fit erachteraan gaat; ALS wisselt gewoon af welke kant de bevroren lijn mag zijn.