Проста линейна регресия — Статистика

Простата линейна регресия е мостът от статистиката към машинното обучение: това е най-простият модел, който прави прогнози. Допускате, че връзката между входа x и изхода y е права линия плюс случаен шум, и се опитвате да намерите най-подходящата права.

β₀ е отрезът (intercept), β₁ е наклонът (slope), а ε е шумът. „Най-подходяща“ означава правата, която минимизира сумата от квадратите на остатъците (вертикалните разстояния между точките и правата) – това е методът на най-малките квадрати (Ordinary Least Squares, OLS).

Плъзнете наклона и отреза във фигурата и наблюдавайте промяната в сумата от квадратите на грешките (SSE). OLS правата е тази единствена права, която свежда до минимум общата сума от квадратите на остатъчните отсечки.

Къде се използва това в MLЛинейната регресия е базовият модел (baseline), който всеки ML проект трябва да надмине, преди да се премине към нещо по-сложно. Нейната целева функция (минимизиране на квадратичната грешка) е загубата при регресия (MSE), която ще минимизирате отново и отново; както видяхте при MLE, това е напълно еквивалентно на максимизиране на правдоподобността при Гаусов шум. Разберете тази проста права и ще…