Rank, Nullspace, Column Space

Geometri dan aljabar pemetaan linear, vektor, dan matriks

Tiga kuantitas menangkap apa yang sebenarnya dilakukan matriks. Column space adalah semua yang bisa dicapai oleh Ax: span dari kolom-kolom, "wilayah output" matriks. Rank adalah dimensi dari column space itu, jumlah arah yang benar-benar independen yang dihasilkan A. Dan null space adalah semua yang dihancurkan A menjadi nol, semua x dengan Ax = 0.

Bayangkan memberikan arah menggunakan tengara. Jika Anda mengatakan "pergi menuju menara" dan "pergi menuju kembaran menara tepat di sampingnya," Anda benar-benar hanya memberikan satu arah asli — yang kedua tidak menambahkan hal baru. Rank menghitung seberapa banyak arah matriks yang benar-benar independen seperti ini; arah apa pun yang runtuh tanpa pergerakan sama sekali menjadi milik null space.

Dimensi-dimensinya mematuhi keseimbangan bersih, teorema rank–nullity: dimensi input terbagi menjadi arah yang bertahan (rank) dan arah yang dihancurkan (nullity).

Di mana ini berlaku dalam MLRank mengukur ekspresivitas sebenarnya dari sebuah layer. Matriks bobot yang low-rank memiliki neuron redundan (beberapa menghitung kombinasi dari yang lain) dan bisa dikompresi tanpa kehilangan. Inilah mesin LoRA: ganti update bobot besar dengan produk low-rank BA, melatih jauh lebih sedikit parameter karena update yang berguna hidup hanya dalam beberapa arah.
▶ Rank, Nullspace, Column Space
← Eliminasi GaussianInvers Matriks →