モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
交互最小二乗法、略してALSは、未知数の半分を固定すると簡単になる問題のためのオプティマイザーだ。行列分解、特に推薦システムでよく使われる。
考え方はシンプルだ。アイテム因子を固定し、ユーザー因子を解く。次にユーザー因子を固定し、アイテム因子を解く。これを、再構成がそれ以上改善しなくなるまで繰り返す。
テントの2本のポールも、この方法で調整できる。両方とも緩んでいると、キャンバスの形を一度に整えるのは難しい。左のポールを固定して、右を調整する。次に右を固定して、左を調整する。この単純な調整を繰り返せば、テント全体を張ることができる。下の図は、そのループの半ステップをひとつ示している。片方を固定した（固定された線）状態で、もう片方にとって最良の選択は最小二乗フィットになる。目標をドラッグして、フィットがそれを追いかける様子を見てほしい。ALSは、どちらの側を固定線にするかを、ただ交互に入れ替えているだけだ。