Wie Modelle wirklich lernen, vom einfachen Gradientenabstieg bis zu Adam
Alternating Least Squares, kurz ALS, ist ein Optimierer für Probleme, die leicht werden, sobald man die Hälfte der Unbekannten einfriert. Er ist bei Matrixfaktorisierung verbreitet, besonders bei Empfehlungssystemen.
Die Idee ist einfach: Halte die Item-Faktoren fest und löse nach den Nutzer-Faktoren. Halte dann die Nutzer-Faktoren fest und löse nach den Item-Faktoren. Wiederhole das, bis sich die Rekonstruktion nicht mehr verbessert.
Zwei Zeltstangen lassen sich auf diese Weise justieren. Sind beide locker, ist die Form der Plane kaum auf einmal zu fixieren. Halte die linke Stange fest und passe die rechte an. Halte dann die rechte fest und passe die linke an. Diese einfacheren Anpassungen zu wiederholen kann das ganze Zelt straffen. Die Abbildung unten zeigt einen Halbschritt dieser Schleife: Mit einer eingefrorenen Seite (der festen Linie) ist die beste Wahl für die andere Seite eine Anpassung nach kleinsten Quadraten. Ziehe das Ziel und beobachte, wie die Anpassung ihm folgt; ALS wechselt einfach, welche Seite jeweils die eingefrorene Linie ist.