SVD

Geometría y álgebra de aplicaciones lineales, vectores y matrices

La descomposición en valores singulares hace algo que ninguna otra factorización logra: cualquier matriz, cuadrada o rectangular, de rango completo o no, se descompone en tres piezas geométricas limpias.

Lea de derecha a izquierda, cualquier mapa lineal es el mismo movimiento de tres pasos: Vᵀ rota la entrada para alinearla con los ejes derechos, Σ (diagonal, con los valores singulares no negativos σ₁ ≥ σ₂ ≥ …) escala cada eje y U rota el resultado en el espacio de salida. Una circunferencia de entradas siempre se mapea a una elipse, y los valores singulares son las longitudes de los ejes de esa elipse.

En la figura, observe cómo la circunferencia unitaria se convierte en una elipse cuyos semiejes son exactamente los valores singulares.

Dónde aparece en el MLLa SVD está detrás del modelado de compresión. LoRA aproxima un cambio en los pesos con un producto de rango bajo, aprovechando el hecho de que el cambio útil vive en unas pocas direcciones altas σ. PCA es la SVD de datos centrados. La SVD truncada comprime tablas de embeddings e imágenes manteniendo solo las direcciones singulares dominantes, siempre el mismo movimiento "mantenga los grandes…
▶ SVD
← Matrices SimétricasAnálisis de componentes principales mediante SVD →