Independência Linear & Base

Geometria e álgebra das aplicações lineares, vetores e matrizes

Um conjunto de vetores é linearmente independente quando nenhum deles é combinação dos outros. Cada um puxa numa direção genuinamente nova, nenhum é redundante. Se conseguires escrever um deles como combinação dos restantes, o conjunto é dependente e contém folga.

O teste preciso: a única forma de obter o vetor nulo a partir de uma combinação é usar pesos todos iguais a zero.

Pense num kit de ferramentas Lego mínimo. Um conjunto de blocos de construção é linearmente independente quando cada bloco adiciona uma forma que não conseguiria ter construído a partir dos outros — nenhum é redundante. Se um bloco for na verdade apenas alguns dos outros encaixados, é peso morto, e poderia atirá-lo fora sem perder uma única forma construível. Uma base é o kit mais enxuto que ainda constrói tudo.

Onde isto aparece no MLÉ este o significado de posto (rank): o número de direções independentes que uma matriz realmente usa. Se as linhas de uma matriz de pesos forem dependentes, alguns neurónios são redundantes. Eles calculam combinações dos outros e não acrescentam poder de representação. Posto baixo significa uma camada compressível (a ideia por trás do LoRA), e uma tabela de embeddings de posto completo significa…
▶ Independência Linear & Base
← Combinações Lineares & Espaço GeradoMatrizes como Aplicações Lineares →