Ранг, нулево пространство и линейна обвивка на колоните

Геометрия и алгебра на линейни приложения, вектори и матрици

Три понятия улавят същността на това, което една матрица действително прави. Пространството на колоните (column space) е всичко, което Ax може да достигне: линейната обвивка (span) на колоните, „областта от стойности“ на матрицата. Рангът е размерността на това пространство — броят на наистина независимите посоки, които A произвежда. А нулевото пространство (null space) е всичко, което A превръща в нула — всички вектори x, за които Ax = 0.

Представете си, че давате упътвания, използвайки ориентири. Ако кажете "тръгнете към кулата" и "тръгнете към близнака на кулата точно до нея", реално сте дали само една истинска посока — втората не добавя нищо ново. Рангът брои колко от посоките на матрицата са наистина независими като тази; всяка посока, която се свежда до липса на каквото и да е движение, принадлежи към нулевото пространство.

Размерностите се подчиняват на ясен баланс, описан в теоремата за ранга и дефекта (rank-nullity theorem): входните размерности се разделят на посоки, които оцеляват (ранг), и посоки, които се схлопват до нула (дефект или nullity).

Къде се използва това в MLРангът измерва истинската изразителност (expressivity) на даден слой. Матрица на теглата с нисък ранг означава наличие на излишни неврони (някои изчисляват просто комбинации от другите) и може да бъде компресирана без загуба на информация. Това е основният двигател зад LoRA (Low-Rank Adaptation): заменяме голяма матрица за обновяване на теглата с произведение от матрици с нисък ранг BA. По този…
▶ Ранг, нулево пространство и линейна обвивка на колоните
← Метод на ГаусОбратна матрица →