Projeções

Geometria e álgebra das aplicações lineares, vetores e matrizes

Uma projeção responde à pergunta: "qual é o ponto mais próximo de b que vive num subespaço dado?" Imagina um ponto a flutuar acima de um chão: a sua projeção é o ponto no chão diretamente por baixo, o pé da perpendicular. É a melhor aproximação de b disponível dentro do subespaço.

Para projetar um vetor b numa única direção a, escala a pela quantidade de b que está nessa direção (produto escalar), normalizada pelo comprimento ao quadrado do próprio a:

Arrasta b pela figura e observa a sua sombra deslizar ao longo da reta a, caindo sempre no ponto mais próximo, com o segmento de erro tracejado a encontrar a reta em ângulo reto.

Onde isto aparece no MLA projeção é a geometria por trás da atenção e dos residual streams. A regressão de mínimos quadrados projeta alvos no espaço coluna do modelo. O residual stream num transformer é lido e escrito repetidamente por projeções, e a ortogonalização ao estilo de Gram–Schmidt mantém direções aprendidas distintas. "Ponto mais próximo num subespaço" é um movimento que os modelos fazem constantemente.
▶ Projeções
← Normas de MatrizFormas Quadráticas →