Ranga, Przestrzeń Nullowa, Przestrzeń Kolumnowa

Geometria i algebra odwzorowań liniowych, wektorów i macierzy

Trzy wielkości opisują to, co macierz robi w istocie. Przestrzeń kolumnowa to zbiór wszystkich wektorów, które można uzyskać jako Ax: powłoka liniowa kolumn macierzy, jej "przestrzeń wyjściowa". Rząd macierzy (ang. rank) to wymiar tej przestrzeni kolumnowej, czyli liczba faktycznie niezależnych kierunków, które tworzy A. Natomiast przestrzeń zerowa (jądro, ang. null space) to wszystko, co macierz A zamienia w zero — wszystkie wektory x spełniające Ax = 0.

Wyobraź sobie podawanie wskazówek przy użyciu punktów orientacyjnych. Jeśli powiesz "idź w stronę wieży" i "idź w stronę bliźniaczej wieży tuż obok niej", to tak naprawdę podałeś tylko jeden prawdziwy kierunek — ten drugi nie wnosi niczego nowego. Rząd (rank) zlicza, ile kierunków macierzy jest tak naprawdę niezależnych; każdy kierunek, który załamuje się do zerowego przemieszczenia, należy do przestrzeni zerowej (null space).

Wymiar podlega ścisłemu bilansowi określonemu przez twierdzenie o rzędzie i rzędzie zerowego (rank-nullity): wymiary przestrzeni wejściowej dzielą się na kierunki, które przetrwają (rząd macierzy), oraz te, które zostaną wyzerowane (wymiar jądra, ang. nullity).

Gdzie to występuje w MLRząd macierzy stanowi miarę rzeczywistej zdolności do reprezentacji (wyrażalności). Macierz wag o niskim rzędzie posiada nadmiarowe neurony (wiele z nich oblicza jedynie kombinacje liniowe pozostałych) i może być kompresowana bez utraty danych. To zjawisko napędza mechanizm LoRA: zastępuje on wielką macierz aktualizacji wag niskorzędowym iloczynem BA, co pozwala trenować ułamek parametrów,…
▶ Ranga, Przestrzeń Nullowa, Przestrzeń Kolumnowa
← Eliminacja GaussaMacierz odwrotna →