Proyeksi

Geometri dan aljabar pemetaan linear, vektor, dan matriks

Sebuah proyeksi menjawab "apa titik terdekat ke b yang hidup dalam subruang tertentu?" Bayangkan titik melayang di atas lantai: proyeksinya adalah titik di lantai tepat di bawahnya, kaki tegak lurus. Itu adalah aproksimasi terbaik dari b yang tersedia di dalam subruang.

Untuk memproyeksikan vektor b ke satu arah a, skalakan a sebesar seberapa banyak b berada sepanjang arah itu (produk dot), dinormalisasi dengan panjang-kuadrat a sendiri:

Seret b di sekitar gambar dan lihat bayangannya meluncur sepanjang garis a, selalu mendarat di titik terdekat, dengan segmen galat putus-putus bertemu garis pada sudut siku-siku.

Di mana ini berlaku dalam MLProyeksi adalah geometri di balik attention dan residual stream. Regresi least-squares memproyeksikan target ke column space model. Residual stream dalam transformer berulang kali dibaca dan ditulis melalui proyeksi, dan ortogonalisasi bergaya Gram–Schmidt menjaga arah yang dipelajari tetap berbeda. "Titik terdekat dalam subruang" adalah gerakan yang terus dilakukan model.
▶ Proyeksi
← Norma MatriksBentuk Kuadrat →