矩阵范数

线性映射、向量与矩阵的几何与代数

就像向量有长度一样,矩阵也有“大小”。两个度量最常见,它们回答不同问题:矩阵的元素有多大,还是矩阵能把一个向量拉伸多少?

Frobenius 范数把矩阵看成一长串数字,然后取欧几里得长度:每个元素平方、相加、再开方。谱范数则测量最大拉伸,也就是 A 能把任意单位向量拉长的最大倍数;它正好等于最大奇异值。

把一个矩阵当成吉他的 amplifier:你输入一个信号,然后出来的声音变得更大。谱范数就是这个 amplifier 的最大 gain,也就是它可以提升你送过的任何输入的最大系数。把旋钮调到最大设置,一个单位信号所能出来的最大声正好就是那个范数。

在机器学习中的应用Frobenius 范数对整个矩阵来说就是 L2 权重正则化:惩罚 ‖W‖_F² 会让权重保持较小,使模型更平滑。谱范数则推动谱归一化:用最大奇异值除以权重矩阵,以限制它的放大能力。这使它成为 GAN 中的重要稳定器,也是施加 Lipschitz 边界的工具。
▶ 矩阵范数
← 最小二乘投影 →