Inferencia, estimación y toma de decisiones a partir de datos
OLS encuentra los coeficientes que ajustan mejor los datos de entrenamiento, lo cual es exactamente el problema cuando tienes muchas características o poca data: ajusta también al ruido y los coeficientes se disparan a valores excesivos. La regresión regularizada controla esto añadiendo una penalización que castiga a los grandes coeficientes, sacrificando un poco del ajuste en el entrenamiento por una mejor generalización.
La regresión de Ridge agrega una penalización L2, la longitud al cuadrado del vector de coeficientes:
El parámetro λ controla la fuerza. λ = 0 es OLS puro; a medida que λ crece, cada coeficiente se reducirá hacia cero, suavizando el modelo. Esta reducción también corrige (XᵀX)⁻¹ mal condicionado del último lección: ridge añade λI, garantizando la invertibilidad.