Niezależność liniowa i baza

Geometria i algebra odwzorowań liniowych, wektorów i macierzy

Zbiór wektorów jest niezależny liniowo, jeśli żaden z nich nie może zostać wyrażony jako kombinacja liniowa pozostałych. Każdy wektor wprowadza nowy kierunek i żaden z nich nie jest zbędny. Jeśli jesteś w stanie wyrazić chociaż jeden wektor jako kombinację innych, mówimy, że zbiór jest zależny, co oznacza, że zawiera wektory nadmiarowe.

Ścisły test: jedynym sposobem na uzyskanie wektora zerowego z kombinacji tych wektorów jest przypisanie wszystkim wagom wartości zero.

Pomyśl o minimalnym zestawie klocków Lego. Zbiór elementów konstrukcyjnych jest liniowo independent, gdy każdy klocek dodaje kształt, którego nie można by zbudować z innych — żaden nie jest redundant. Jeśli jeden klocek to tak naprawdę tylko kilka innych połączonych razem, jest to zbędny balast i możesz go wyrzucić bez utraty ani jednego kształtu możliwego do zbudowania. Baza to najskromniejszy zestaw, który wciąż pozwala zbudować wszystko.

Gdzie to występuje w MLNa tym właśnie opiera się koncepcja rzędu macierzy (ang. rank): to liczba niezależnych kierunków, których macierz rzeczywiście używa. Jeśli wiersze macierzy wag są od siebie zależne, część neuronów jest nadmiarowa. Będą one jedynie obliczać kombinacje liniowe sygnałów z pozostałych neuronów i nie dodadzą modelowi żadnej nowej mocy reprezentacyjnej. Niski rząd macierzy oznacza de facto kompresję…
▶ Niezależność liniowa i baza
← Kombinacje liniowe i powłoka liniowaMacierze jako odwzorowania liniowe →