SVD

線形写像、ベクトル、行列の幾何学と代数

特異値分解は他のどの分解も達成しないことをする:すべての行列 — 正方か長方形か、フルランクかそうでないか — を3つのきれいな幾何ピースに分割する。

右から左に読むと、任意の線形写像は同じ3ステップの動き:Vᵀが入力を回転して右の軸に整列させ、Σ(非負の特異値σ₁ ≥ σ₂ ≥ …を持つ対角)が各軸をスケールし、Uが結果を出力空間に回転する。入力の円は常に楕円に写り、特異値がその楕円の軸の長さです。

図で単位円が半軸がちょうど特異値の楕円になる様子を見てください。

機械学習における位置づけSVDはモデル圧縮の背後の数学です。LoRAは有用な更新がいくつかの高σ方向にしかないという事実を利用し、重み更新を低ランク積で近似する。PCAは中心化データのSVDです。切り詰めSVDは埋め込みテーブルや画像を主要な特異方向だけ残して圧縮する、毎回同じ「大きいσを残す」操作。
▶ SVD
← 対称行列SVDによるPCA →