秩、零空间、列空间

线性映射、向量与矩阵的几何与代数

三个量刻画矩阵真正做了什么。列空间是 Ax 能到达的一切:列向量的张成,也就是矩阵的“输出区域”。秩是列空间的维数,即 A 产生的真正独立方向数量。零空间是所有被 A 压成零的东西,即所有满足 Ax = 0 的 x。

想象使用地标来指引方向。如果你说“走向那座塔”和“走向就在那座塔旁边的双子塔”,你实际上只给出了一个真正的方向 — 第二个没有增加任何新信息。秩(rank)计算的是一个矩阵有多少个方向是像这样真正独立的;任何坍缩为根本没有移动的方向,都属于零空间(null space)。

这些维度满足一个干净的平衡,即秩-零化度定理:输入维度会分成存活的方向(秩)和被压扁的方向(零化度)。

在机器学习中的应用秩衡量一个层真实的表达能力。低秩权重矩阵有冗余神经元(有几个在计算其他神经元的组合),可以无损压缩。这就是 LoRA 的引擎:用一个低秩乘积 BA 代替大的权重更新,训练少得多的参数,因为有用的更新只存在于少数方向中。
▶ 秩、零空间、列空间
← 高斯消元矩阵逆 →