単回帰

データからの推論、推定、意思決定

単回帰は統計から機械学習への橋です：予測する最も単純なモデルです。入力xと出力yの関係が直線プラスランダムノイズと仮定し、最もよくフィットする直線を見つける。

β₀は切片、β₁は傾き、εはノイズです。「最もよくフィットする」は点と直線の間の垂直のギャップの2乗残差の合計を最小化する直線、通常最小2乗法（OLS）です。

図で傾きと切片をドラッグして2乗誤差和（SSE）が変わる様子を見てください。OLS直線は珊瑚色の残差スティックの総2乗長を最小値にする唯一の直線です。