Lineer Bağımsızlık ve Taban

Geometry and algebra of linear maps, vectors, and matrices

Bir vektör kümesi, hiçbiri diğerlerinin bir kombinasyonu olmadığında lineer bağımsızdır. Her biri gerçekten yeni bir yöne çeker, hiçbiri gereksiz değildir. Eğer birini diğerlerinin bir kombinasyonu olarak yazabiliyorsan, küme bağımlıdır ve fazlalık içerir.

Net test: bir kombinasyondan sıfır vektörünü oluşturmanın tek yolu, tümü sıfır olan ağırlıkları kullanmaktır.

Minimal bir Lego alet çantası düşünün. Bir yapı taşları seti, her blok diğerlerinden inşa edemeyeceğiniz bir şekil eklediğinde doğrusal olarak independent — hiçbiri redundant değildir. Eğer bir blok gerçekten sadece diğerlerinden birkaçının birbirine oturtulmuş haliyse, o ölü ağırlıktır ve tek bir inşa edilebilir şekil kaybetmeden onu atabilirsiniz. Bir taban, hala her şeyi inşa eden en yalın kittir.

Bunun ML'deki yeriBu, rankın anlamıdır: bir matrisin gerçekten kullandığı bağımsız yönlerin sayısı. Bir ağırlık matrisinin satırları bağımlıysa, bazı nöronlar gereksizdir. Diğerlerinin kombinasyonlarını hesaplarlar ve hiçbir temsil gücü katmazlar. Düşük rank sıkıştırılabilir bir katman demektir (LoRA'nın ardındaki fikir) ve tam ranklı bir gömme tablosu her özellik yönünün gerçekten farklı olduğu anlamına gelir.
▶ Lineer Bağımsızlık ve Taban
← Lineer Kombinasyonlar ve Gerilen UzayLineer Dönüşümler Olarak Matrisler →