行列の積

線形写像、ベクトル、行列の幾何学と代数

行列の積はこったルールのように見えるが、その意味はきれい:ABは2つの変換の合成です。まずB、次にA。積は両方の動きを一度に達成する単一の行列です。

ABの要素を計算するには、Aの行とBの列の内積を取る。要素(i, j)はAの行iとBの列の内積。それがアルゴリズムの全部:内積をグリッドに並べる。

工場のラインにある2つのマシンを想像してください。最初のマシン B が部品を再形成し、次に2番目のマシン A が再びそれを再形成します。積 AB は、1回のパスで両方のステップを実行する 1つの結合されたマシン です — そして、部品は A の前に B を通過しなければならないため、ライン上の順序は固定されています。

機械学習における位置づけ層を合成することが行列の積です。2層の線形スタックW₂(W₁x)は(W₂W₁)xに等しい;層は1つの写像に融合する。Attentionでは、スコアは積QKᵀから来て、出力はそれらの重みにVを掛けることから来る。すべてのフォワードパスはこれらの積のチェーンで、形のルールがGPUが計算するために構築されたもの。
▶ 行列の積
← 行列としての線形写像転置 →