Линейна независимост и базис

Геометрия и алгебра на линейни приложения, вектори и матрици

Едно множество от вектори е линейно независимо, когато нито един от тях не е линейна комбинация на останалите. Всеки от тях тегли в напълно нова посока и нито един не е излишен. Ако можете да изразите един от тях като комбинация на останалите, множеството е зависимо и съдържа излишна информация.

Ясният тест: единственият начин да получите нулевия вектор чрез линейна комбинация, е ако използвате само нулеви тегла.

Представете си минимален комплект Лего. Един набор от строителни блокчета е линейно independent, когато всяко блокче добавя форма, която не бихте могли да изградите от останалите — нито едно не е redundant. Ако едно блокче реално е просто няколко от останалите, щракнати заедно, то е излишно тегло и бихте могли да го изхвърлите, без да загубите нито една възможна за изграждане форма. Базисът е най-изчистеният комплект, който все още може да изгради всичко.

Къде се използва това в MLТова е смисълът на понятието ранг (rank): броят на независимите посоки, които една матрица реално използва. Ако редовете на матрицата с тегла са линейно зависими, някои неврони са излишни. Те просто изчисляват комбинации на останалите и не добавят нова изразителна способност. Ниският ранг означава, че слоят може да бъде сгъстен (което е идеята зад LoRA), докато матрица с векторни представяния…
▶ Линейна независимост и базис
← Линейни комбинации и линейна обвивка (span)Матриците като линейни трансформации →