Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận
Phân tích thành phần chính (PCA) tìm ra những hướng mà dữ liệu của bạn biến thiên nhiều nhất, rồi cho phép bạn mô tả mỗi điểm chỉ bằng vài hướng đó thay vì toàn bộ các đặc trưng ban đầu. Đây là công cụ chuẩn để giảm số chiều, và nó chính là việc áp dụng SVD lên dữ liệu của bạn.
Công thức rất ngắn gọn. Căn giữa dữ liệu (trừ đi trung bình để đám mây điểm nằm ở gốc), lấy SVD của ma trận dữ liệu, rồi đọc đáp án: các thành phần chính là các vectơ suy biến hàng đầu, và phương sai của mỗi thành phần là bình phương giá trị suy biến của nó (chia cho n−1).
Hãy hình dung một đám mây điểm bị kéo dài và nghiêng. Thành phần chính thứ nhất là trục dài của đám mây, hướng thu được nhiều phương sai nhất. Thành phần thứ hai vuông góc với nó, thu phần lớn những gì còn lại, và cứ thế. Chiếu lên vài thành phần đầu là bạn giữ được hình dạng trong khi giảm số chiều.