線形独立と基底

線形写像、ベクトル、行列の幾何学と代数

ベクトルの集合が線形独立なのは、どれも他の残りの結合にならないとき。それぞれが genuinely 新しい方向を引き、どれも冗長でない。1つを残りの結合として書けるなら、集合は従属で余裕を含む。

簡潔なテスト:結合からゼロベクトルを作る唯一の方法は、すべてゼロの重みを使うこと。

最小限のレゴのツールキットを考えてみてください。ビルディングブロックのセットが線形 independent であるとは、各ブロックが他のブロックからは作れなかった形を追加する場合です — どれも redundant ではありません。もしあるブロックが実際には他のブロックのいくつかをスナップして繋ぎ合わせただけのものであれば、それはお荷物であり、構築可能な形を1つも失うことなく捨てることができます。基底(basis)は、すべてを構築できる最も無駄のないキットです。

機械学習における位置づけこれがランクの意味:行列が実際に使う独立方向の数。重み行列の行が従属なら、一部のニューロンは冗長。それらは他のものの結合を計算し、表現力を加えない。低ランクは圧縮可能な層を意味し(LoRAの背後のアイデア)、フルランクの埋め込みテーブルはすべての特徴方向が genuinely 異なることを意味する。
▶ 線形独立と基底
← 線形結合と張る空間行列としての線形写像 →