转置

线性映射、向量与矩阵的几何与代数

转置 Aᵀ 会把矩阵沿主对角线翻转:行变成列,列变成行。位置 (i, j) 的元素与位置 (j, i) 的元素交换。一个 (m×n) 矩阵会变成 (n×m)。

想象一个电子表格,其中行是人员,列是他们各自付款的月份。转置(Transposing)它会将整个表格沿对角线倾斜,从而使行变成列:现在行是月份,而列是人员。没有丢失或改变任何数字 — 每个值只是移动到了其镜像单元格中,而它的行标签和列标签在那里交换了位置。

如果一个矩阵等于自己的转置,A = Aᵀ,它就是对称矩阵:关于对角线镜像平衡,满足 Aᵢⱼ = Aⱼᵢ。这类矩阵非常特殊,后面会有两整课专门讲它们。

在机器学习中的应用转置在反向传播中无处不在。前向传播乘以 W;反向传播会把传入梯度乘以 Wᵀ 送回上一层。注意力分数是 QKᵀ。而 Hessian 和协方差矩阵按构造就是对称的(A = Aᵀ),这正是后面课程依赖的良好特征结构的保证。
▶ 转置
← 矩阵乘法特殊矩阵 →