SVD

Geometria e álgebra das aplicações lineares, vetores e matrizes

A decomposição em valores singulares faz algo que nenhuma outra fatorização consegue: toda a matriz, quadrada ou retangular, de característica completa ou não, divide-se em três peças geométricas limpas.

Lê da direita para a esquerda: qualquer aplicação linear é o mesmo movimento de três passos: Vᵀ roda a entrada para a alinhar com os eixos corretos, Σ (diagonal, com os valores singulares não-negativos σ₁ ≥ σ₂ ≥ …) escala cada eixo, e U roda o resultado para o espaço de saída. Um círculo de entradas mapeia sempre para uma elipse, e os valores singulares são os comprimentos dos eixos dessa elipse.

Na figura, observa o círculo unitário tornar-se uma elipse cujos semieixos são exatamente os valores singulares.

Onde isto aparece no MLA SVD é a matemática por trás da compressão de modelos. O LoRA aproxima uma atualização de pesos com um produto de característica baixa, explorando o facto de a atualização útil viver em algumas direções de σ alto. A PCA é a SVD de dados centrados. A SVD truncada comprime tabelas de embedding e imagens mantendo apenas as direções singulares dominantes, o mesmo movimento "mantém os σ grandes" de…
▶ SVD
← Matrizes SimétricasPCA via SVD →