线性无关与基

线性映射、向量与矩阵的几何与代数

一组向量线性无关,是指其中没有任何一个可以由其余向量组合得到。每个向量都提供真正的新方向,没有冗余。如果你可以把某个向量写成其余向量的组合,这组向量就是线性相关的,里面有多余部分。

清晰的测试是:只有使用全零权重,才能把组合做成零向量。

想象一个极简的乐高工具包。当每个积木都增加了一个你无法用其他积木拼出的形状时,一组积木就是线性 independent(独立的) — 没有一个是 redundant(多余的)。如果一块积木实际上只是其他几块积木拼在一起,那它就是累赘,即使扔掉它也不会丢失任何可拼建的形状。基(basis)就是仍然能够构建出所有东西的最精简的工具包。

在机器学习中的应用这就是秩的含义:矩阵实际使用的独立方向数量。如果权重矩阵的行相关,一些神经元就是冗余的。它们计算的是其他神经元的组合,没有增加表示能力。低秩意味着一个可压缩的层(这正是 LoRA 背后的思想),满秩嵌入表意味着每个特征方向都真正不同。
▶ 线性无关与基
← 线性组合与张成矩阵作为线性映射 →