SVD

Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận

Phân tích giá trị suy biến (SVD) làm được điều mà không phép phân tích nào khác làm được: mọi ma trận, dù vuông hay chữ nhật, dù hạng đầy đủ hay không, đều được tách thành ba phần hình học rõ ràng.

Đọc từ phải sang trái, mọi ánh xạ tuyến tính đều là cùng một chuyển động ba bước: Vᵀ quay đầu vào để căn theo các trục phù hợp, Σ (đường chéo, với các giá trị suy biến không âm σ₁ ≥ σ₂ ≥ …) giãn tỉ lệ trên từng trục, rồi U quay kết quả vào không gian đầu ra. Một đường tròn đầu vào luôn ánh xạ thành một elip, và các giá trị suy biến chính là độ dài các bán trục của elip đó.

Trong hình, hãy quan sát đường tròn đơn vị biến thành một elip có các bán trục đúng bằng các giá trị suy biến.

Vị trí của nó trong MLSVD là phép toán đứng sau việc nén mô hình. LoRA xấp xỉ một bản cập nhật trọng số bằng một tích hạng thấp, khai thác việc bản cập nhật hữu ích chỉ tồn tại theo vài hướng có σ lớn. PCA chính là SVD của dữ liệu đã căn giữa. SVD cắt bớt nén các bảng embedding và hình ảnh bằng cách chỉ giữ các hướng suy biến trội, vẫn là cùng một động tác "giữ các σ lớn" mỗi lần.
▶ SVD
← Ma trận đối xứngPCA qua SVD →