内積

線形写像、ベクトル、行列の幾何学と代数

内積は2つのベクトルを取り単一の数を返す。レシピは単純:対応する成分を掛けて結果を足す。その単純な算術が幾何学的な意味を持つ。内積は2つの矢印がどれだけ同じ方向を向くかを測る。

右辺の形が頼れるもの。|a|と|b|は長さ、θは矢印間の角度。だから内積の符号が幾何を即座に読み取れる:正は矢印が同じ方向に傾く(θ < 90°)、負は反対向き(θ > 90°)、ちょうどゼロは垂直を意味する。最後のケースは何度も現れる。

風が吹く中でショッピングカートを押しているところを想像してください。あなたの押す力と風の内積は、2つの矢印がどれだけ整列しているかを示します:風があなたを助けてくれるときは大きくて positive になり、風があなたの進路を横切って吹き何の仕事もしないときは zero になり、あなたに逆らって押し返してくるときは負になります。類似度スコアとして解釈すると、内積が大きいほど単に「これら2つの矢印はより一致している」ということを意味します。

機械学習における位置づけTransformerがどの以前のトークンに注意を払うべきかを決めるとき、内積を計算する。注意スコアはクエリとキーベクトル間のq · k:同じ方向を向くとき高く、「このトークンはあのトークンに関連する」を意味する。コサイン類似度は長さを割り除いた同じアイデア。大きさに関わらず2つの埋め込みがどれだけ似ているかをランク付けし、検索と推薦がクエリを文書にマッチする方法。
▶ 内積
← Rⁿのベクトルノルム →