Produto Escalar

Geometria e álgebra de aplicações lineares, vetores e matrizes

O produto escalar recebe dois vetores e devolve um único número. A receita é simples: multiplique os componentes correspondentes e some os resultados. Essa aritmética singela carrega um significado geométrico: o produto escalar mede o quanto duas setas apontam na mesma direção.

A forma do lado direito é aquela em que vale a pena se apoiar. |a| e |b| são os comprimentos, e θ é o ângulo entre as setas. Assim, o sinal do produto escalar revela a geometria de imediato: positivo significa que as setas se inclinam no mesmo sentido (θ < 90°), negativo significa que se opõem (θ > 90°), e exatamente zero significa que são perpendiculares. Este último caso surge repetidamente.

Imagine empurrar um carrinho de compras enquanto o vento sopra. O produto escalar do seu empurrão e do vento diz o quão alinhadas as duas setas estão: é grande e positivo quando o vento ajuda você a avançar, zero quando o vento sopra diretamente perpendicular ao seu caminho não realizando nenhum trabalho, e negativo quando empurra contra você. Lido como uma pontuação de similaridade, um produto escalar maior simplesmente significa "essas duas setas concordam mais".

Onde isso aparece no MLQuando um transformer decide a que token anterior atender, calcula um produto escalar. Uma pontuação de atenção é q · k entre um vetor de consulta e um de chave: é alta quando ambos apontam na mesma direção, o que significa "este token é relevante para aquele". A similaridade do cosseno é a mesma ideia, mas com os comprimentos divididos. Ela ordena o quão parecidos são dois embeddings…
▶ Produto Escalar
← Vetores em RⁿNormas →