Метод наименьших квадратов — Линейная алгебра

Геометрия и алгебра линейных отображений, векторов и матриц

Когда Ax = b не имеет точного решения (обычный случай при данных, превышающих параметры), делайте следующее лучшее: найдите x, делающий Ax как можно ближе к b. «Близко» — наименьшая квадратичная ошибка. Это метод наименьших квадратов, основа обычной регрессии.

Геометрия — вся суть. Достижимые выходы Ax образуют столбцовое пространство A — плоскость в пространстве более высокой размерности. Цель b обычно висит вне этой плоскости. Ближайшая достижимая точка — ортогональная проекция b на плоскость: опустите перпендикуляр из b, и где он приземлится — Ax.

На фигуре сдвиньте b с прямой и наблюдайте, как проекция (наилучшее соответствие) скользит вдоль, оставаясь прямо под ним, с ошибкой всегда перпендикулярной.

Где это встречается в MLЛинейная регрессия — это наименьшие квадраты. Решение в замкнутой форме β = (XᵀX)⁻¹Xᵀy — нормальные уравнения, решённые для коэффициентов. Та же идея проекции определяет псевдообратную A⁺ — универсальный инструмент «решите Ax = b насколько возможно». Каждая квадратичная функция потерь в ML восходит к этой картине проекции на то, чего модель может достичь.