الانحدار الخطي البسيط — الإحصاء

الاستدلال والتقدير واتخاذ القرار من البيانات

الانحدار الخطي البسيط هو الجسر من الإحصاء إلى تعلّم الآلة: إنه أبسط نموذج يتنبّأ. تفترض أن العلاقة بين مُدخل x ومُخرج y هي خط مستقيم زائد ضوضاء عشوائية، ثم تجد الخط الأفضل ملاءمةً.

β₀ هو التقاطع، وβ₁ هو الميل، وε هو الضوضاء. «الأفضل ملاءمةً» تعني الخط الذي يقلّل مجموع مربّعات البواقي (الفجوات الرأسية بين النقاط والخط)، وهي طريقة المربّعات الصغرى العادية (OLS).

اسحب الميل والتقاطع في الشكل وشاهد كيف يتغيّر مجموع مربّعات الأخطاء (SSE). خط OLS هو الخط الوحيد الذي يدفع إجمالي الطول المربّع لعصيّ البواقي المرجانية إلى أدناه.

أين يظهر هذا في تعلّم الآلةالانحدار الخطي هو الأساس الذي ينبغي لكل مشروع ML أن يتفوّق عليه قبل اللجوء إلى أي شيء أكثر تعقيداً. هدفه القائم على الخطأ المربّع هو خسارة الانحدار (MSE) التي ستقلّلها مراراً وتكراراً، و(كما رأيت في تقدير الأرجحية العظمى) هو بالضبط الأرجحية العظمى في ظل ضوضاء غاوسية. افهم هذا الخط وستفهم هيكل كل نموذج مُشرَف عليه.