SVD

Geometry and algebra of linear maps, vectors, and matrices

Tekil değer ayrışımı, başka hiçbir çarpanlara ayırmanın başaramadığı bir şeyi yapar: her matris — kare ya da dikdörtgen, tam ranklı olsun ya da olmasın — üç temiz geometrik parçaya ayrılır.

Sağdan sola oku: herhangi bir doğrusal dönüşüm aynı üç adımlık harekettir: Vᵀ girdiyi doğru eksenlerle hizalamak için döndürür, Σ (köşegen, negatif olmayan tekil değerler σ₁ ≥ σ₂ ≥ … ile) her ekseni ölçekler ve U sonucu çıktı uzayına döndürür. Girdilerden oluşan bir çember her zaman bir elipse eşlenir ve tekil değerler bu elipsin eksenlerinin uzunluklarıdır.

Şekilde, birim çemberin yarı eksenleri tam olarak tekil değerler olan bir elipse dönüşmesini izle.

Bunun ML'deki yeriSVD, model sıkıştırmanın arkasındaki matematiktir. LoRA, bir ağırlık güncellemesini düşük ranklı bir çarpımla yaklaşıklar; yararlı güncellemenin birkaç yüksek-σ yönünde yaşadığı gerçeğinden yararlanır. PCA, ortalanmış verinin SVD'sidir. Kesilmiş SVD, yalnızca baskın tekil yönleri tutarak gömme tablolarını ve görüntüleri sıkıştırır — her seferinde aynı "büyük σ'ları tut" hamlesi.
▶ SVD
← Simetrik MatrislerSVD ile PCA →