Posto, Núcleo, Espaço Coluna

Geometria e álgebra de aplicações lineares, vetores e matrizes

Três quantidades capturam o que uma matriz realmente faz. O espaço coluna é tudo que Ax pode alcançar: o espaço gerado pelas colunas, a "região de saída" da matriz. O posto (rank) é a dimensão daquele espaço coluna, o número de direções genuinamente independentes que A produz. E o núcleo (null space) é tudo que A esmaga para zero, todos x com Ax = 0.

Imagine dar direções usando pontos de referência. Se você diz "vá em direção à torre" e "vá em direção à gêmea da torre logo ao lado", você na verdade deu apenas uma direção genuína — a segunda não adiciona nada de novo. O posto conta quantas das direções de uma matriz são verdadeiramente independentes assim; qualquer direção que colapse para nenhum movimento pertence ao espaço nulo.

As dimensões obedecem a um balanço limpo, o teorema posto–nulidade: as dimensões de entrada se dividem nas direções que sobrevivem (posto) e nas direções que são esmagadas (nulidade).

Onde isso aparece no MLPosto mede a verdadeira expressividade de uma camada. Uma matriz de pesos de posto baixo tem neurônios redundantes (vários calculando combinações dos outros) e pode ser comprimida sem perda. Este é o motor do LoRA: substitua uma grande atualização de pesos por um produto de posto baixo BA, treinando muito menos parâmetros porque a atualização útil vive em apenas algumas direções.
▶ Posto, Núcleo, Espaço Coluna
← Eliminação GaussianaInversa de Matriz →