SVD

Geometria e álgebra de aplicações lineares, vetores e matrizes

A decomposição em valores singulares faz algo que nenhuma outra fatoração consegue: toda matriz, quadrada ou retangular, posto completo ou não, se divide em três peças geométricas limpas.

Leia da direita para esquerda, qualquer aplicação linear é o mesmo movimento de três passos: Vᵀ rotaciona a entrada para alinhar com os eixos corretos, Σ (diagonal, com os valores singulares não-negativos σ₁ ≥ σ₂ ≥ …) escala cada eixo, e U rotaciona o resultado para o espaço de saída. Um círculo de entradas sempre mapeia para uma elipse, e os valores singulares são os comprimentos dos eixos daquela elipse.

Na figura, observe o círculo unitário se tornar uma elipse cujos semi-eixos são exatamente os valores singulares.

Onde isso aparece no MLSVD é a matemática por trás da compressão de modelos. LoRA aproxima uma atualização de pesos com um produto de posto baixo, explorando o fato de que a atualização útil vive em algumas direções de σ alto. PCA é SVD de dados centralizados. SVD truncado comprime tabelas de embedding e imagens mantendo apenas as direções singulares dominantes, o mesmo movimento "mantenha os grandes σ's" toda vez.

▶ SVD

← Matrizes Simétricas PCA via SVD →