Vetores & Geometria de Rⁿ

Cálculo multivariável a partir dos primeiros princípios

O cálculo de uma variável vivia sobre uma reta. O machine learning, não. Os pesos de uma rede neural, um embedding, um gradiente: cada um é um ponto num espaço de alta dimensão, Rⁿ. A boa notícia é que a geometria que você conhece do plano R² se transfere quase palavra por palavra. Um vetor continua sendo uma seta a partir da origem; comprimento, ângulo e "sombra sobre outro vetor" continuam fazendo sentido. Só deixamos de conseguir desenhá-lo.

Um vetor v = (v₁, v₂, …, vₙ) é uma lista ordenada de números. Você pode lê-lo de duas maneiras ao mesmo tempo: como uma localização (o ponto onde você chega) e como uma direção com um comprimento (a seta que leva você até lá). Ambas as leituras são constantemente úteis em ML.

A norma (comprimento) de um vetor vem direto de Pitágoras, apenas com mais termos:

Onde isso aparece no MLQuando um transformer decide quanta atenção um token deve dar a outro, ele calcula o produto escalar de uma query e uma key, q·k. É a mesma operação que ordenar os vizinhos mais próximos num espaço de embedding por similaridade do cosseno, e a mesma que um classificador linear usa para perguntar de que lado de w·x + b = 0 um ponto cai. A maior parte do que se chama 'similaridade' em ML é este…
▶ Vetores & Geometria de Rⁿ
← Formas QuadráticasFunções f: Rⁿ → R →