Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Naprzemienne najmniejsze kwadraty, czyli ALS, to optymalizator dla problemów, które stają się łatwe, gdy zamrozisz połowę niewiadomych. Jest powszechny w faktoryzacji macierzy, zwłaszcza w systemach rekomendacyjnych.
Pomysł jest prosty: trzymaj czynniki przedmiotów jako ustalone i rozwiąż dla czynników użytkowników. Potem trzymaj czynniki użytkowników jako ustalone i rozwiąż dla czynników przedmiotów. Powtarzaj, aż rekonstrukcja przestanie się poprawiać.
Można tak regulować dwa maszty namiotu. Jeśli oba są luźne, kształt płótna trudno naprawić naraz. Przytrzymaj lewy maszt nieruchomo i wyreguluj prawy. Potem przytrzymaj prawy nieruchomo i wyreguluj lewy. Powtarzanie tych prostszych regulacji może naprężyć cały namiot. Poniższy rysunek pokazuje jeden pół-krok tej pętli: gdy jedna strona jest zamrożona (ustalona linia), najlepszym wyborem dla drugiej jest dopasowanie metodą najmniejszych kwadratów. Przeciągnij cel i obserwuj, jak dopasowanie za nim podąża; ALS po prostu na zmianę wyznacza, która strona staje się ustaloną linią.