Mathematics for Machine Learning · 線形代数 · 行列と線形写像
行列の積
線形写像、ベクトル、行列の幾何学と代数
行列の積はこったルールのように見えるが、その意味はきれい:ABは2つの変換の合成です。まずB、次にA。積は両方の動きを一度に達成する単一の行列です。
ABの要素を計算するには、Aの行とBの列の内積を取る。要素(i, j)はAの行iとBの列の内積。それがアルゴリズムの全部:内積をグリッドに並べる。
工場のラインにある2つのマシンを想像してください。最初のマシン B が部品を再形成し、次に2番目のマシン A が再びそれを再形成します。積 AB は、1回のパスで両方のステップを実行する 1つの結合されたマシン です — そして、部品は A の前に B を通過しなければならないため、ライン上の順序は固定されています。
機械学習における位置づけ 層を合成することが行列の積です。2層の線形スタックW₂(W₁x)は(W₂W₁)xに等しい;層は1つの写像に融合する。Attentionでは、スコアは積QKᵀから来て、出力はそれらの重みにVを掛けることから来る。すべてのフォワードパスはこれらの積のチェーンで、形のルールがGPUが計算するために構築されたもの。
▶ 行列の積
Mathematics for Machine Learning — interactive lessons, draggable figures, 1,000+ auto-graded problems.