Hạng, không gian null và không gian cột

Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận

Ba đại lượng thể hiện hành vi thực sự của một ma trận. Không gian cột là mọi điểm mà Ax có thể chạm tới: span của các cột, "vùng đầu ra" của ma trận. Hạng là số chiều của không gian cột đó, tức số hướng thực sự độc lập mà A tạo ra. Còn không gian null là tập tất cả những gì bị A nén về 0, tức mọi x thỏa Ax = 0.

Hãy tưởng tượng việc đưa ra chỉ đường bằng cách sử dụng các điểm mốc. Nếu bạn nói "đi về phía tòa tháp" và "đi về phía tòa tháp song sinh ngay bên cạnh nó", bạn thực sự chỉ đưa ra một hướng đi thực sự — hướng thứ hai không thêm gì mới. Xếp hạng đếm xem có bao nhiêu hướng của ma trận thực sự độc lập như thế này; bất kỳ hướng nào sụp đổ và không chuyển động nữa đều thuộc về không gian rỗng.

Các số chiều tuân theo một sự cân bằng rõ ràng, đó là định lý hạng–số khuyết (rank–nullity): số chiều đầu vào được chia thành các hướng còn sống sót (hạng) và các hướng bị nén (số khuyết).

Vị trí của nó trong MLHạng đo khả năng biểu diễn thực sự của một lớp. Một ma trận trọng số hạng thấp có những nơ-ron dư thừa (một số là tổ hợp tuyến tính của số khác) và có thể nén lại mà không mất mát. Đây chính là ý tưởng của LoRA: thay bản cập nhật trọng số kích thước lớn bằng một tích hạng thấp BA, huấn luyện ít tham số hơn nhiều, vì phần cập nhật hữu ích chỉ tồn tại theo vài hướng.
▶ Hạng, không gian null và không gian cột
← Khử GaussMa trận nghịch đảo →