Tích vô hướng

Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận

Tích vô hướng nhận hai vectơ và trả về một con số duy nhất. Công thức rất đơn giản: nhân các thành phần tương ứng rồi cộng các kết quả lại. Phép số học đơn giản đó mang một ý nghĩa hình học. Tích vô hướng đo mức độ hai mũi tên cùng chỉ về một hướng.

Dạng bên phải là dạng đáng để dựa vào. |a| và |b| là các độ dài, còn θ là góc giữa hai mũi tên. Vì vậy, dấu của tích vô hướng cho biết ngay hình học: dương nghĩa là hai mũi tên nghiêng cùng một hướng (θ < 90°), âm nghĩa là chúng ngược nhau (θ > 90°), và đúng bằng không nghĩa là chúng vuông góc. Trường hợp cuối cùng đó cứ lặp đi lặp lại.

Hình ảnh đẩy một chiếc xe đẩy hàng trong khi gió thổi. Tích số chấm của lực đẩy của bạn và gió cho bạn biết hai mũi tên thẳng hàng như thế nào: nó lớn và dương khi gió giúp bạn đi theo, bằng 0 khi gió thổi thẳng qua đường đi của bạn mà không sinh công và âm khi nó đẩy ngược lại bạn. Đọc dưới dạng điểm tương đồng, tích có dấu chấm lớn hơn chỉ đơn giản có nghĩa là "hai mũi tên này phù hợp hơn".

Vị trí của nó trong MLKhi một transformer quyết định token trước đó nào đáng chú ý, nó tính tích vô hướng. Điểm chú ý (attention score) là q · k giữa vectơ truy vấn và vectơ khóa: cao khi chúng chỉ cùng hướng, nghĩa là "token này liên quan đến truy vấn đó". Độ tương tự cosin là cùng ý tưởng nhưng đã chia bớt độ dài. Nó xếp hạng mức độ giống nhau của hai vectơ nhúng bất kể độ lớn, đó là cách tìm kiếm và gợi ý khớp một…
▶ Tích vô hướng
← Vectơ trong RⁿChuẩn →