Độc lập tuyến tính & Cơ sở

Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận

Một tập vectơ là độc lập tuyến tính khi không vectơ nào trong tập là tổ hợp của các vectơ còn lại. Mỗi vectơ đều kéo theo một hướng thực sự mới, không có gì thừa. Nếu bạn có thể viết một vectơ thành tổ hợp của các vectơ còn lại, thì tập đó là phụ thuộc và chứa phần dư thừa.

Phép thử then chốt: cách duy nhất để tạo ra vectơ không từ một tổ hợp là dùng toàn bộ trọng số bằng 0.

Hãy nghĩ về một bộ công cụ Lego tối giản. Một tập hợp các khối xây dựng độc lập tuyến tính khi mỗi khối thêm một hình dạng mà bạn không thể tạo ra từ các khối khác — không có khối nào là dư thừa. Nếu một khối thực sự chỉ là một vài khối khác được ghép lại với nhau thì nó có trọng lượng chết và bạn có thể ném nó đi mà không làm mất đi một hình dạng nào có thể xây dựng được. Cơ sở là bộ công cụ gọn gàng nhất vẫn xây dựng được mọi thứ.

Vị trí của nó trong MLĐây chính là ý nghĩa của hạng (rank): số hướng độc lập mà ma trận thực sự sử dụng. Nếu các hàng của ma trận trọng số phụ thuộc nhau, thì một số nơ-ron là dư thừa. Chúng tính ra tổ hợp của những nơ-ron khác và không thêm sức mạnh biểu diễn. Hạng thấp nghĩa là một lớp có thể nén được (ý tưởng đằng sau LoRA), còn một bảng nhúng đủ hạng nghĩa là mọi hướng đặc trưng đều thực sự khác biệt.
▶ Độc lập tuyến tính & Cơ sở
← Tổ hợp tuyến tính & Không gian sinhMa trận như ánh xạ tuyến tính →