Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
I minimi quadrati alternati, o ALS, sono un ottimizzatore per problemi che diventano facili quando congeli metà delle incognite. È comune nella fattorizzazione di matrici, specialmente nei sistemi di raccomandazione.
L'idea è semplice: tieni fissi i fattori degli oggetti e risolvi per i fattori degli utenti. Poi tieni fissi i fattori degli utenti e risolvi per i fattori degli oggetti. Ripeti finché la ricostruzione smette di migliorare.
Due pali da tenda si possono regolare così. Se sono entrambi allentati, la forma del telo è difficile da sistemare tutta in una volta. Tieni fermo il palo sinistro e regola il destro. Poi tieni fermo il destro e regola il sinistro. Ripetere queste regolazioni più semplici può tendere l'intera tenda. La figura sotto mostra un mezzo-passo di quel ciclo: con un lato congelato (la linea fissa), la scelta migliore per l'altro lato è un adattamento ai minimi quadrati. Trascina il bersaglio e guarda l'adattamento inseguirlo; ALS alterna semplicemente quale lato fa da linea congelata.