Rank, Sıfır Uzayı, Sütun Uzayı

Geometry and algebra of linear maps, vectors, and matrices

Üç nicelik bir matrisin gerçekte ne yaptığını yakalar. Sütun uzayı, Ax'in ulaşabileceği her şeydir: sütunların gerdiği uzay, matrisin "çıktı bölgesi". Rank, o sütun uzayının boyutudur; A'nın ürettiği gerçekten bağımsız yönlerin sayısı. Ve sıfır uzayı, A'nın sıfıra ezdiği her şeydir; Ax = 0 olan bütün x'ler.

Simgesel yapılar kullanarak yön verdiğinizi hayal edin. "Kuleye doğru git" ve "hemen yanındaki kulenin ikizine doğru git" derseniz, aslında yalnızca gerçek bir yön vermişsinizdir — ikincisi yeni bir şey eklemez. Rank, bir matrisin yönlerinden kaçının bunun gibi gerçekten bağımsız olduğunu sayar; tamamen hareketsizliğe çöken herhangi bir yön sıfır uzayına aittir.

Boyutlar temiz bir dengeye uyar, rank–sıfırlık teoremi: girdi boyutları, hayatta kalan yönlere (rank) ve ezilen yönlere (sıfırlık) ayrılır.

Bunun ML'deki yeriRank, bir katmanın gerçek ifade gücünü ölçer. Düşük rankı olan bir ağırlık matrisinin gereksiz nöronları vardır (birkaçı diğerlerinin bileşimlerini hesaplar) ve hiç kayıp olmadan sıkıştırılabilir. LoRA'nın motoru tam da budur: büyük bir ağırlık güncellemesini düşük ranklı bir BA çarpımıyla değiştir; çok daha az parametre eğit, çünkü işe yarayan güncelleme yalnızca birkaç yönde yaşar.
▶ Rank, Sıfır Uzayı, Sütun Uzayı
← Gauss Eleme YöntemiMatris Tersi →