Vektor & Geometri Rⁿ

Kalkulus multivariabel dari prinsip pertama

Kalkulus satu variabel hidup di atas garis. Machine learning tidak. Bobot jaringan neural, embedding, gradien: masing-masing adalah titik dalam ruang berdimensi tinggi, Rⁿ. Kabar baiknya, geometri yang kamu kenal dari bidang datar R² terbawa hampir kata demi kata. Vektor tetap panah dari titik asal; panjang, sudut, dan "bayangan ke vektor lain" semuanya tetap masuk akal. Kita hanya berhenti bisa menggambarnya.

Sebuah vektor v = (v₁, v₂, …, vₙ) adalah daftar angka berurutan. Kamu bisa membacanya dengan dua cara sekaligus: sebagai lokasi (titik tempat kamu mendarat) dan sebagai arah dengan panjang (panah yang membawamu ke sana). Dua bacaan ini terus-menerus penting dalam ML.

Norma (panjang) sebuah vektor datang langsung dari Pythagoras, hanya dengan lebih banyak suku:

Di mana ini berlaku dalam MLKetika transformer memutuskan seberapa besar satu token harus memperhatikan token lain, ia mengambil produk dot query dan key, q·k. Itu operasi yang sama seperti memberi peringkat tetangga terdekat dalam ruang embedding dengan cosine similarity, dan sama dengan yang dipakai classifier linear untuk bertanya di sisi mana dari w·x + b = 0 sebuah titik mendarat. Sebagian besar yang disebut…
▶ Vektor & Geometri Rⁿ
← Bentuk KuadratFungsi f: Rⁿ → R →