Простая линейная регрессия — Статистика

Вывод, оценивание и принятие решений по данным

Простая линейная регрессия — мост от статистики к машинному обучению: простейшая модель, которая предсказывает. Предполагаете, что связь входа x и выхода y — линия плюс случайный шум, и находите линию наилучшего прилегания.

β₀ — пересечение, β₁ — наклон, ε — шум. «Наилучшее прилегание» значит линия, минимизирующая сумму квадратов остатков (вертикальных разрывов между точками и линией), метод обычных наименьших квадратов (OLS).

Двигайте наклон и пересечение на фигуре и смотрите, как меняется сумма квадратов ошибок (SSE). Линия OLS — единственная, доводящая суммарную квадрат длину коралловых остатков до минимума.

Где это встречается в MLЛинейная регрессия — базовый уровень, который каждый ML-проект должен превзойти, прежде чем тянуться к чему-то сложнее. Её квадратичная целевая функция — потеря регрессии (MSE), которую будете минимизировать снова и снова, и (как видели в MLE) это в точности максимальное правдоподобие при гауссовом шуме. Поймите эту линию — поймёте скелет каждой модели с учителем.