Inferensi, estimasi, dan pengambilan keputusan dari data
Prediksi nyata menggunakan banyak masukan, bukan satu. Regresi linear berganda menggeneralisasi garis ke bidang datar (atau hiperbidang) di dimensi lebih tinggi: setiap fitur punya koefisien sendiri. Menumpuk semua data ke matriks X, modelnya sangat ringkas:
Di sini X adalah matriks desain n×d (satu baris per observasi, satu kolom per fitur), β vektor koefisien, dan y keluaran. Solusi OLS punya bentuk tertutup terkenal:
Geometri ini layak dibayangkan. Vektor prediksi Xβ̂ harus hidup di ruang kolom X, himpunan semua kombinasi kolom fitur Anda. OLS memilih β̂ yang prediksinya adalah titik di ruang itu terdekat ke y. Secara geometris, ŷ adalah proyeksi ortogonal y ke ruang kolom, dan residual y − ŷ tegak lurus ke sana. Ketegaklurusan itu persis yang dihitung (XᵀX)⁻¹Xᵀ.