Independência Linear & Base

Geometria e álgebra de aplicações lineares, vetores e matrizes

Um conjunto de vetores é linearmente independente quando nenhum deles é combinação dos outros. Cada um puxa numa direção genuinamente nova, nenhum é redundante. Se você conseguir escrever um deles como combinação dos restantes, o conjunto é dependente e contém folga.

O teste preciso: a única forma de obter o vetor nulo a partir de uma combinação é usar pesos todos iguais a zero.

Pense em um kit minimalista de Lego. Um conjunto de blocos de montar é linearmente independente quando cada bloco adiciona uma forma que você não poderia ter construído com os outros — nenhum é redundante. Se um bloco é, na verdade, apenas alguns dos outros encaixados juntos, é peso morto, e você poderia descartá-lo sem perder uma única forma construível. Uma base é o kit mais enxuto que ainda constrói tudo.

Onde isso aparece no MLÉ este o significado de posto (rank): o número de direções independentes que uma matriz realmente usa. Se as linhas de uma matriz de pesos forem dependentes, alguns neurônios são redundantes. Eles calculam combinações dos outros e não acrescentam poder de representação. Posto baixo significa uma camada compressível (a ideia por trás do LoRA), e uma tabela de embeddings de posto completo significa…
▶ Independência Linear & Base
← Combinações Lineares & Espaço GeradoMatrizes como Aplicações Lineares →