线性组合与张成

线性映射、向量与矩阵的几何与代数

给定几个向量和两个操作:缩放每个向量(乘以任意数),并相加结果。你能这样构造出的任何向量,都是起始集合的线性组合。所有可到达向量的完整集合叫张成。

张成是这里的核心思想,所以要具体地想象。一个非零向量被任意缩放,会扫出一条穿过原点的直线。两个真正指向不同方向的向量会扫出整个平面。再加一个伸出这个平面的第三个向量,就能填满整个三维空间。

在你的搅拌机里备好两种基础原料 — 比如一个香蕉箭头和一个浆果箭头。冰沙是你对每种基础原料进行缩放(或多或少)并倒在一起的任何混合物;这就是一个线性组合。你可以从这些基础原料混合出的每一款冰沙的完整菜单就是它们的 span — 而且如果这两种基础原料牵引向真正不同的方向,那个菜单就会填满整个风味平面。

在机器学习中的应用张成正是“一个层能表达什么”。线性层 Wx 只能产生 W 的列向量张成中的输出,也就是它的列空间。如果这个张成缺少你的数据需要的方向,任何输入选择都无法恢复它;这个层对那个方向在结构上是盲的。选择足够宽的架构,部分就是确保可到达的张成足够大。
▶ 线性组合与张成
← 范数线性无关与基 →