Vetores & Geometria de Rⁿ

Cálculo multivariável a partir dos primeiros princípios

O cálculo de uma variável vivia sobre uma reta. O machine learning, não. Os pesos de uma rede neural, um embedding, um gradiente: cada um é um ponto num espaço de alta dimensão, Rⁿ. A boa notícia é que a geometria que conheces do plano R² transfere-se quase palavra por palavra. Um vetor continua a ser uma seta a partir da origem; comprimento, ângulo e "sombra sobre outro vetor" continuam a fazer sentido. Só deixamos de o conseguir desenhar.

Um vetor v = (v₁, v₂, …, vₙ) é uma lista ordenada de números. Podes lê-lo de duas maneiras ao mesmo tempo: como uma localização (o ponto onde chegas) e como uma direção com um comprimento (a seta que te leva até lá). Ambas as leituras são constantemente úteis em ML.

A norma (comprimento) de um vetor vem direta de Pitágoras, apenas com mais termos:

Onde isto aparece no MLQuando um transformer decide quanta atenção um token deve dar a outro, calcula o produto escalar de uma query e uma key, q·k. É a mesma operação que ordenar os vizinhos mais próximos num espaço de embedding por similaridade do cosseno, e a mesma que um classificador linear usa para perguntar de que lado de w·x + b = 0 um ponto cai. A maior parte do que se chama 'similaridade' em ML é este único…
▶ Vetores & Geometria de Rⁿ
← Formas QuadráticasFunções f: Rⁿ → R →