正則化回帰

データからの推論、推定、意思決定

OLSは訓練データに最もよくフィットする係数を見つけるが、それがまさに特徴が多いかデータが少ないときの問題です：ノイズにもフィットし、係数が狂った値に振れる。正則化回帰は大きな係数を罰するペナルティを加えることでこれを飼いならす、少しの訓練フィットをはるかに良い汎化と引き換える。

リッジ回帰はL2ペナルティ、係数ベクトルの2乗長を加える：

ノブλが強さを制御する。λ = 0はプレーンなOLS；λが大きくなると各係数はゼロに向かって縮む、モデルを滑らかにする。この縮小はまた前のレッスンの悪条件の(XᵀX)⁻¹を修正する：リッジはλIを加え、可逆性を保証する。