SVD ile PCA

Geometry and algebra of linear maps, vectors, and matrices

Temel bileşen analizi, verinin en çok değiştiği yönleri bulur, ardından her noktayı tüm orijinal özellikler yerine bu yönlerden yalnızca birkaçıyla tanımlamanı sağlar. Boyut indirgemenin standart aracıdır ve perde arkasında verine uygulanan SVD'dir.

Tarif kısadır. Veriyi ortala (bulutu orijine oturtmak için ortalamayı çıkar), veri matrisinin SVD'sini al ve yanıtları oku: temel bileşenler en üstteki tekil yönlerdir ve her bileşenin varyansı tekil değerinin karesidir (n−1'e bölünmüş).

Gerilmiş, eğik bir nokta bulutu düşün. İlk temel bileşen, bulutun uzun ekseni — en çok varyansı yakalayan tek yöndür. İkincisi ona diktir ve geriye kalanın en çoğunu yakalar, ve böyle sürer. İlk birkaçına izdüşürürsen, boyut atarken şekli korursun.

Bunun ML'deki yeriPCA klasik boyut indirgeme aracıdır: eğitimden önce 1000 özellikli bir veri kümesini en bilgilendirici 50 yönüne küçültür, gürültüyü ve hesaplamayı azaltır. Görselleştirmeyi (2 boyuta izdüşürme), özellik analizini ve beyazlatmayı (whitening) güçlendirir. Aynı özdeğer/SVD resmi, yapının çoğunu yakalayan küçük bir yön kümesi bularak modern temsil öğrenmesinin altında yatar.
▶ SVD ile PCA
← SVDEn Küçük Kareler →