Ax = b: Геометрия — Линейная алгебра

Геометрия и алгебра линейных отображений, векторов и матриц

Уравнение Ax = b — центральная задача линейной алгебры: дано преобразование A и цель b, какой вход x попадает в цель? Прочитайте это как геометрию, и характер ответа виден до вычислений.

Есть два способа представить это. Строчная картина: каждое уравнение — прямая (в 2D) или плоскость (в 3D), и решение — где они все пересекаются. Столбцовая картина: b должна быть линейной комбинацией столбцов A, а x содержит веса комбинации.

Геометрически есть ровно три случая. Прямые пересекаются в одной точке (единственное решение); они параллельны и различны (нет решения, цели никогда не встречаются); или это одна прямая (бесконечно много решений). Перетащите прямые на фигуре через все три.

Где это встречается в MLРеальные ML-системы обычно переопределены: уравнений (точек данных) гораздо больше, чем неизвестных (параметров), поэтому точное Ax = b почти никогда не имеет решения. Это вся причина метода наименьших квадратов (следующий урок). Когда нельзя попасть в b точно, найдите x, который подходит ближе всего. Линейная регрессия — именно эта ситуация «нет точного решения, минимизируем промах».