Извод, оценка и вземане на решения от данни
OLS намира коефициентите, които пасват най-добре на тренировъчните данни, което е точно проблемът, когато имате много характеристики или малко данни: моделът започва да напасва и на шума, а коефициентите скачат до екстремни стойности. Регуляризираната регресия (Regularized regression) укротява това чрез добавяне на член за наказание (penalty), който санкционира големите коефициенти, жертвайки малко от точността при обучението в замяна на много по-добро обобщаване (generalization).
Ridge регресията (Ridge regression) добавя L2 наказание – сумата от квадратите на вектора от коефициенти (неговата квадратна дължина):
Параметърът λ контролира силата на регуляризацията. При λ = 0 получаваме обикновен OLS; с нарастването на λ, всеки коефициент се свива към нула (shrinkage), изглаждайки модела. Това свиване също така решава проблема с лошо обусловената матрица (XᵀX)⁻¹ от предишния урок: Ridge регресията добавя λI, което гарантира обратимост.