Característica, Núcleo, Espaço Coluna

Geometria e álgebra das aplicações lineares, vetores e matrizes

Três quantidades capturam o que uma matriz realmente faz. O espaço coluna é tudo o que Ax consegue alcançar: o espaço gerado pelas colunas, a "região de saída" da matriz. A característica (posto, rank) é a dimensão desse espaço coluna, o número de direções genuinamente independentes que A produz. E o núcleo (null space) é tudo o que A esmaga para zero, todos os x com Ax = 0.

Imagine dar indicações usando pontos de referência. Se disser "vá em direção à torre" e "vá em direção à torre gémea mesmo ao lado", na verdade deu apenas uma direção genuína — a segunda não adiciona nada de novo. A característica conta quantas das direções de uma matriz são verdadeiramente independentes como esta; qualquer direção que colapsa para nenhum movimento pertence ao espaço nulo.

As dimensões obedecem a um balanço limpo, o teorema característica–nulidade: as dimensões de entrada dividem-se nas direções que sobrevivem (característica) e nas direções que são esmagadas (nulidade).

Onde isto aparece no MLA característica mede a verdadeira expressividade de uma camada. Uma matriz de pesos de característica baixa tem neurónios redundantes (vários a calcular combinações dos outros) e pode ser comprimida sem perda. Este é o motor do LoRA: substituis uma grande atualização de pesos por um produto de característica baixa BA, treinando muito menos parâmetros porque a atualização útil vive em apenas…
▶ Característica, Núcleo, Espaço Coluna
← Eliminação GaussianaInversa de Matriz →