SVD

Geometri dan aljabar pemetaan linear, vektor, dan matriks

Singular value decomposition melakukan sesuatu yang tidak bisa dicapai faktorisasi lain: setiap matriks, persegi atau persegi panjang, full rank atau tidak, terpecah menjadi tiga potongan geometri yang bersih.

Dibaca dari kanan ke kiri, peta linear apa pun adalah gerakan tiga langkah yang sama: Vᵀ memutar input agar sejajar dengan sumbu yang tepat, Σ (diagonal, dengan singular value tak negatif σ₁ ≥ σ₂ ≥ …) menskalakan setiap sumbu, dan U memutar hasilnya ke ruang output. Lingkaran input selalu dipetakan menjadi elips, dan singular value adalah panjang sumbu elips itu.

Pada gambar, lihat lingkaran satuan menjadi elips yang semi-sumbunya persis singular value.

Di mana ini berlaku dalam MLSVD adalah matematika di balik kompresi model. LoRA mendekati update bobot dengan produk low-rank, memanfaatkan fakta bahwa update yang berguna hidup dalam beberapa arah σ tinggi. PCA adalah SVD dari data yang sudah dipusatkan. SVD terpotong mengompresi tabel embedding dan gambar dengan mempertahankan hanya arah singular dominan, gerakan "simpan σ besar" yang sama setiap kali.

▶ SVD

← Matriks Simetris PCA melalui SVD →