İzdüşümler

Geometry and algebra of linear maps, vectors, and matrices

Bir izdüşüm, "belirli bir alt uzayda yaşayan, b'ye en yakın nokta nedir?" sorusunu yanıtlar. Bir zeminin üzerinde süzülen bir nokta düşün: izdüşümü, zeminde tam onun altındaki nokta — dikmenin ayağıdır. Alt uzay içinde mevcut olan, b'nin en iyi yaklaşımıdır.

Bir b vektörünü tek bir a yönüne izdüşürmek için, a'yı b'nin onun boyunca ne kadarının yattığıyla (bir nokta çarpımı) ölçekle, a'nın kendi uzunluk karesine bölünmüş olarak:

Şekilde b'yi etrafta sürükle ve gölgesinin, kesikli hata parçası doğruyla dik açıyla buluşacak biçimde, her zaman en yakın noktaya inerek a doğrusu boyunca kaydığını izle.

Bunun ML'deki yeriİzdüşüm, dikkatin (attention) ve artık akışların (residual stream) arkasındaki geometridir. En küçük kareler regresyonu, hedefleri modelin sütun uzayına izdüşürür. Bir transformer'daki artık akış, izdüşümler aracılığıyla tekrar tekrar okunur ve yazılır, ve Gram–Schmidt tarzı ortogonalleştirme öğrenilen yönleri ayrı tutar. "Bir alt uzaydaki en yakın nokta", modellerin sürekli yaptığı bir hamledir.
▶ İzdüşümler
← Matris NormlarıKaresel Formlar →