Indipendenza Lineare e Base

Geometria e algebra di applicazioni lineari, vettori e matrici

Un insieme di vettori è linearmente indipendente quando nessuno di essi è combinazione degli altri. Ciascuno tira in una direzione genuinamente nuova, nessuno è ridondante. Se puoi scrivere uno di essi come combinazione degli altri, l'insieme è dipendente e contiene elementi superflui.

Il test netto è questo: l'unico modo per ottenere il vettore nullo da una combinazione è usare pesi tutti uguali a zero.

Pensa a un kit di Lego minimalista. Un set di blocchi da costruzione è linearmente indipendente (independent) quando ogni blocco aggiunge una forma che non avresti potuto costruire dagli altri — nessuno è ridondante (redundant). Se un blocco è in realtà solo un paio degli altri uniti insieme, è un peso morto, e potresti buttarlo via senza perdere una singola forma costruibile. Una base è il kit più essenziale che costruisce ancora tutto.

Dove si trova nel MLQuesto è il significato del rango: il numero di direzioni indipendenti che una matrice usa effettivamente. Se le righe di una matrice di pesi sono dipendenti, alcuni neuroni sono ridondanti. Calcolano combinazioni degli altri e non aggiungono alcuna potenza rappresentativa. Rango basso significa strato comprimibile (è l'idea alla base di LoRA), mentre una tabella di embedding a rango pieno…
▶ Indipendenza Lineare e Base
← Combinazioni Lineari e Spazio GeneratoMatrici come Applicazioni Lineari →