Геометрия и алгебра на линейни приложения, вектори и матрици
Когато системата Ax = b няма точно решение (обичайният случай, когато има повече данни, отколкото параметри), вие правите следващото най-добро нещо: намирате такова x, което прави Ax възможно най-близо до b. „Близо“ означава минимална квадратична грешка. Това е същността на метода на най-малките квадрати, който лежи в основата на обикновената линейна регресия.
Геометрията обяснява всичко. Достижимите вектори Ax образуват пространството от колони на A — равнина, разположена в пространство с по-висока размерност. Целевият вектор b обикновено се намира извън тази равнина. Най-близката достижима точка е ортогоналната проекция на b върху равнината: спуснете перпендикуляр от b право надолу, и там, където той пробожда равнината, се намира Ax.
На фигурата преместете b извън правата и наблюдавайте как проекцията (най-доброто приближение) се плъзга, за да остане точно под него, като векторът на грешката винаги е перпендикулярен.