Метод Гаусса — Линейная алгебра

Геометрия и алгебра линейных отображений, векторов и матриц

Метод Гаусса — систематический алгоритм решения Ax = b вручную или машиной. Идея: простыми строковыми операциями превратить систему в ступенчатую форму, затем прочитать ответ снизу вверх.

Разрешены три строковые операции, и ни одна не меняет множество решений: поменять две строки местами, умножить строку на ненулевое число, прибавить кратное одной строки к другой. Они используются, чтобы обнулить элементы ниже диагонали, столбец за столбцом.

Первый ненулевой элемент в каждой строке — ведущий. Идите сверху вниз, используя каждый ведущий, чтобы обнулить всё под ним, пока матрица не станет верхнетреугольной. Затем обратная подстановка: последняя строка даёт одну переменную напрямую; подставьте её в строку выше и поднимайтесь.

Где это встречается в MLМетод Гаусса — вычислительный предок LU-разложения, процедуры, которую ваша линейно-алгебраическая библиотека реально вызывает для быстрого решения систем и обращения матриц. В ML вы редко делаете это вручную, но это лежит в основе решателей для регрессии в замкнутой форме, ковариационных вычислений и любого шага «решите эту линейную систему» внутри более крупного алгоритма.