Indépendance Linéaire & Base

Géométrie et algèbre des applications linéaires, vecteurs et matrices

Un ensemble de vecteurs est linéairement indépendant quand aucun d'entre eux n'est une combinaison des autres. Chacun tire dans une véritablement nouvelle direction, aucun n'est redondant. Si vous pouvez écrire l'un comme une combinaison des autres, l'ensemble est dépendant et contient du mou.

Le test net : la seule façon de faire le vecteur nul à partir d'une combinaison est d'utiliser tous les poids nuls.

Pensez à une boîte à outils de Lego minimale. Un ensemble de blocs de construction est linéairement independent lorsque chaque bloc ajoute une forme que vous n'auriez pas pu construire à partir des autres — aucun n'est redundant. Si un bloc n'est en fait que quelques-uns des autres emboîtés ensemble, c'est un poids mort, et vous pourriez le jeter sans perdre une seule forme constructible. Une base est le kit le plus épuré qui construit encore tout.

Où cela apparaît en MLC'est le sens du rang : le nombre de directions indépendantes qu'une matrice utilise réellement. Si les lignes d'une matrice de poids sont dépendantes, certains neurones sont redondants. Ils calculent des combinaisons des autres et n'ajoutent aucune puissance de représentation. Un rang faible signifie une couche compressible (l'idée derrière LoRA), et une table de plongements de rang plein…
▶ Indépendance Linéaire & Base
← Combinaisons Linéaires & SpanMatrices comme Applications Linéaires →