Inference, estimation, and decision-making from data
EKK (en küçük kareler), eğitim verisine en iyi uyan katsayıları bulur; çok sayıda özniteliğiniz ya da az veriniz olduğunda asıl sorun tam da budur: gürültüye de uyum sağlar ve katsayılar uçuk değerlere savrulur. Düzenlileştirilmiş regresyon, büyük katsayıları cezalandıran bir ceza terimi ekleyerek bunu evcilleştirir; biraz eğitim uyumundan ödün vererek çok daha iyi genelleme elde eder.
Ridge regresyonu, bir L2 cezası ekler; bu, katsayı vektörünün karesel uzunluğudur:
λ düğmesi cezanın gücünü denetler. λ = 0 düz EKK'dır; λ büyüdükçe her katsayı sıfıra doğru büzülür ve model yumuşar. Bu büzülme, geçen dersteki kötü koşullanmış (XᵀX)⁻¹ sorununu da düzeltir: ridge, λI ekleyerek tersinirliği garanti eder.