Produk Dot

Geometri dan aljabar pemetaan linear, vektor, dan matriks

Produk dot mengambil dua vektor dan mengembalikan satu angka. Resepnya sederhana: kalikan komponen yang bersesuaian lalu jumlahkan hasilnya. Aritmetika biasa itu membawa makna geometri. Produk dot mengukur seberapa besar dua panah menunjuk ke arah yang sama.

Bentuk di sisi kanan adalah yang perlu diandalkan. |a| dan |b| adalah panjangnya, dan θ adalah sudut antara panah. Jadi tanda produk dot langsung membaca geometrinya: positif berarti panah condong ke arah yang sama (θ < 90°), negatif berarti saling berlawanan (θ > 90°), dan tepat nol berarti keduanya tegak lurus. Kasus terakhir itu muncul berulang kali.

Bayangkan mendorong keranjang belanja saat angin bertiup. Produk titik dari dorongan Anda dan angin memberi tahu Anda seberapa sejajar kedua panah tersebut: nilainya besar dan positive saat angin membantu Anda maju, zero saat angin bertiup lurus memotong jalur Anda tanpa melakukan usaha, dan negatif saat angin mendorong kembali melawan Anda. Dibaca sebagai skor kesamaan, produk titik yang lebih besar hanya berarti "kedua panah ini lebih setuju."

Di mana ini berlaku dalam MLKetika transformer memutuskan token sebelumnya mana yang perlu diperhatikan, ia menghitung produk dot. Skor attention adalah q · k antara vektor query dan key: tinggi ketika keduanya menunjuk ke arah yang sama, artinya "token ini relevan dengan token itu." Cosine similarity adalah ide yang sama setelah panjangnya dibagi keluar. Ini memberi peringkat seberapa mirip dua embedding terlepas dari…
▶ Produk Dot
← Vektor di RⁿNorma →