高斯消元
线性映射、向量与矩阵的几何与代数
高斯消元是手工或机器求解 Ax = b 的系统算法。思想是:用简单的行操作把方程组削成阶梯形,然后从后往前读出答案。
允许使用三种行操作,且都不会改变解集:交换两行,用非零数乘一行,或把一行的倍数加到另一行。你用它们一列一列地把下面的元素打成零。
每行最前面的非零元素叫主元。从上到下工作,用每个主元清除它下方的所有元素,直到矩阵成为上三角形。然后回代:最后一行直接给出一个变量;把它代入上一行,再向上爬。
在机器学习中的应用高斯消元是 LU 分解的计算祖先,而线性代数库实际调用 LU 来快速求解方程组和求逆矩阵。你在机器学习中很少手工执行它,但闭式回归、协方差计算以及大型算法中任何“求解这个线性系统”的步骤,背后都有它。
▶ 高斯消元