Independensi Linear & Basis

Geometri dan aljabar pemetaan linear, vektor, dan matriks

Sebuah himpunan vektor disebut independen secara linear ketika tidak ada satu pun yang merupakan kombinasi dari yang lain. Masing-masing menarik ke arah yang benar-benar baru, tidak ada yang redundan. Jika kamu bisa menulis salah satunya sebagai kombinasi dari sisanya, himpunan itu dependen dan memiliki kelonggaran.

Uji yang tajam: satu-satunya cara membuat vektor nol dari kombinasi adalah memakai semua bobot nol.

Bayangkan sebuah perangkat minimalis Lego. Sekelompok blok bangunan dikatakan independent saat setiap blok menambahkan bentuk yang tidak dapat Anda bangun dari blok lainnya — tidak ada yang redundant. Jika satu blok sebenarnya hanyalah beberapa blok lainnya yang digabungkan bersama, itu hanyalah beban mati, dan Anda dapat membuangnya tanpa kehilangan satu bentuk bangunan pun. Sebuah basis adalah perangkat paling ramping yang masih membangun segalanya.

Di mana ini berlaku dalam MLInilah arti rank: jumlah arah independen yang benar-benar digunakan sebuah matriks. Jika baris-baris matriks bobot dependen, beberapa neuron redundan. Mereka menghitung kombinasi dari yang lain dan tidak menambah daya representasi. Rank rendah berarti layer dapat dikompresi (ide di balik LoRA), dan tabel embedding full-rank berarti setiap arah fitur benar-benar berbeda.
▶ Independensi Linear & Basis
← Kombinasi Linear & SpanMatriks sebagai Pemetaan Linear →