Inference, estimation, and decision-making from data
Gerçek tahminler bir değil birçok girdi kullanır. Çoklu doğrusal regresyon, doğruyu daha yüksek boyutlarda düz bir düzleme (veya hiperdüzleme) genelleştirir: her özellik kendi katsayısını alır. Tüm veriyi bir X matrisine yığarak, model muhteşem derecede özlü olur:
Burada X, n×d tasarım matrisidir (gözlem başına bir satır, özellik başına bir sütun), β katsayılar vektörü ve y çıktılardır. OLS çözümünün ünlü bir kapalı biçimi vardır:
Geometriyi gözünüzde canlandırmaya değer. Tahminler vektörü Xβ̂, X'in sütun uzayında, yani özellik sütunlarınızın tüm kombinasyonlarının kümesinde yaşamak zorundadır. OLS, tahmini o uzaydaki y'ye en yakın nokta olan β̂'yı seçer. Geometrik olarak, ŷ, y'nin sütun uzayına dik izdüşümüdür ve artık y − ŷ ona diktir. Tam olarak bu diklik, (XᵀX)⁻¹Xᵀ'nin hesapladığı şeydir.