SVDによるPCA

線形写像、ベクトル、行列の幾何学と代数

主成分分析はデータが最も変動する方向を見つけ、すべての元の特徴の代わりにそれらの方向のいくつかだけで各点を記述できるようにする。次元削減の標準ツールで、内部ではデータに適用されたSVDです。

レシピは短い。データを中心化し（平均を引いて雲を原点に置く）、データ行列のSVDを取り、答えを読む：主成分は上位特異方向で、各成分の分散は特異値の2乗（n−1で割ったもの）。

伸びて傾いた点の雲を想像する。第1主成分は雲の長軸、最も多くの分散を捉える単一方向。第2はそれに垂直で、残りの最も多くを捉え、以下同様。最初のいくつかに射影すると次元を削りながら形を保つ。