Independencia Lineal y Base

Geometría y álgebra de aplicaciones lineales, vectores y matrices

Un conjunto de vectores es independiente cuando ninguno de ellos puede expresarse como una combinación de los demás. Cada uno tira en una dirección genuinamente nueva, sin redundancia. Si puedes escribir uno como una combinación del resto, el conjunto es dependiente y contiene elementos innecesarios.

La prueba clara: la única manera de obtener el vector cero a través de una combinación es usando pesos todos iguales a cero.

Piensa en un kit de herramientas mínimo de Lego. Un conjunto de bloques de construcción es linealmente independent cuando cada bloque añade una forma que no podrías haber construido a partir de los otros — ninguno es redundant. Si un bloque es realmente solo un par de los otros unidos, es peso muerto, y podrías desecharlo sin perder ni una sola forma construible. Una base es el kit más austero que todavía construye todo.

Dónde aparece en el MLEste es el significado de rango: el número de direcciones independientes que una matriz realmente usa. Si las filas de una matriz de pesos son dependientes, algunos neuronas son redundantes. Calculan combinaciones del resto y no añaden poder representativo. Un bajo rango significa una capa comprimible (la idea detrás de LoRA), y un rango completo en una tabla de embebidos significa que cada…
▶ Independencia Lineal y Base
← Combinaciones Lineales y Espacio GeneradoMatrices como transformaciones lineales →