Rango, Nucleo, Spazio delle Colonne

Geometria e algebra di applicazioni lineari, vettori e matrici

Tre quantità catturano ciò che una matrice fa davvero. Lo spazio delle colonne è tutto ciò che Ax può raggiungere: lo spazio generato dalle colonne, la "regione di output" della matrice. Il rango è la dimensione di quello spazio delle colonne, il numero di direzioni genuinamente indipendenti che A produce. E il nucleo (null space) è tutto ciò che A schiaccia a zero, tutti gli x con Ax = 0.

Immagina di dare indicazioni stradali usando punti di riferimento. Se dici "vai verso la torre" e "vai verso la torre gemella proprio accanto ad essa", hai in realtà dato solo una direzione genuina — la seconda non aggiunge nulla di nuovo. Il rango conta quante delle direzioni di una matrice sono veramente indipendenti in questo modo; ogni direzione che collassa in nessun movimento appartiene allo spazio nullo.

Le dimensioni obbediscono a un bilancio pulito, il teorema rango–nulità: le dimensioni dell'input si dividono nelle direzioni che sopravvivono (rango) e nelle direzioni che vengono schiacciate (nulità).

Dove si trova nel MLIl rango misura la vera espressività di uno strato. Una matrice di pesi a rango basso ha neuroni ridondanti (parecchi che calcolano combinazioni degli altri) e può essere compressa senza perdita. Questo è il motore di LoRA: sostituisci un grande aggiornamento dei pesi con un prodotto a rango basso BA, addestrando molti meno parametri perché l'aggiornamento utile vive in solo poche direzioni.
▶ Rango, Nucleo, Spazio delle Colonne
← Eliminazione di GaussMatrice Inversa →