Phép chiếu

Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận

Phép chiếu trả lời câu hỏi "điểm trong một không gian con cho trước gần b nhất là điểm nào?". Hãy hình dung một điểm lơ lửng phía trên một mặt sàn: hình chiếu của nó là điểm trên sàn ngay bên dưới nó, chân của đường vuông góc. Đây là xấp xỉ tốt nhất của b có sẵn trong không gian con.

Để chiếu một vectơ b lên một hướng a, hãy nhân tỉ lệ a theo phần của b nằm dọc theo nó (một tích vô hướng), rồi chuẩn hóa bằng bình phương độ dài của chính a:

Hãy kéo b quanh hình và xem bóng của nó trượt dọc theo đường a, luôn rơi vào điểm gần nhất, với đoạn sai số nét đứt gặp đường thẳng tại một góc vuông.

Vị trí của nó trong MLPhép chiếu là hình học đứng sau cơ chế attention và các luồng dư (residual stream). Hồi quy bình phương tối thiểu chiếu các mục tiêu lên không gian cột của mô hình. Residual stream trong transformer được đọc và ghi nhiều lần thông qua các phép chiếu, và việc trực giao hóa kiểu Gram–Schmidt giúp tách bạch các hướng đã học. "Điểm gần nhất trong không gian con" là một động tác được thực hiện đi thực…
▶ Phép chiếu
← Chuẩn ma trậnDạng toàn phương →