简单线性回归

从数据中进行推断、估计和决策

简单线性回归是统计学通向机器学习的桥梁:它是最简单的预测模型。你假设输入 x 与输出 y 之间的关系是一条直线加随机噪声,然后寻找最匹配的直线。

β₀ 是截距,β₁ 是斜率,ε 是噪声。“最匹配”表示使总平方残差(点与直线之间的竖直间隔)最小的直线,也就是普通最小二乘(OLS)方法。

在图中拖动斜率和截距,观察平方误差和(SSE)如何变化。OLS 线是唯一能让珊瑚色残差棒的总平方长度达到最小的直线。

在机器学习中的应用线性回归是每个机器学习项目在使用更复杂方法前都应该击败的基线。它的平方误差目标就是你会反复最小化的回归损失(MSE),并且(如你在 MLE 中看到的)它正是 Gaussian 噪声下的最大似然。理解这条线,就理解了每个监督模型的骨架。
▶ 简单线性回归
← 非参数检验多元线性回归 →