Projeções

Geometria e álgebra de aplicações lineares, vetores e matrizes

Uma projeção responde à pergunta: "qual é o ponto mais próximo de b que vive num subespaço dado?" Imagine um ponto flutuando acima de um chão: a sua projeção é o ponto no chão diretamente abaixo, o pé da perpendicular. É a melhor aproximação de b disponível dentro do subespaço.

Para projetar um vetor b numa única direção a, escale a pela quantidade de b que está nessa direção (produto escalar), normalizada pelo comprimento ao quadrado do próprio a:

Arraste b pela figura e observe a sua sombra deslizar ao longo da reta a, caindo sempre no ponto mais próximo, com o segmento de erro tracejado encontrando a reta em ângulo reto.

Onde isso aparece no MLProjeção é a geometria por trás da atenção e dos residual streams. A regressão de mínimos quadrados projeta alvos no espaço coluna do modelo. O residual stream num transformer é lido e escrito repetidamente por projeções, e a ortogonalização ao estilo Gram–Schmidt mantém direções aprendidas distintas. "Ponto mais próximo num subespaço" é um movimento que os modelos fazem constantemente.
▶ Projeções
← Normas de MatrizFormas Quadráticas →