Các ma trận đặc biệt

Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận

Một số ma trận xuất hiện thường xuyên với hình học rõ ràng đến mức chúng có tên riêng. Nhận ra chúng ngay khi vừa thấy sẽ tiết kiệm rất nhiều công sức.

Ma trận đơn vị I có số 1 trên đường chéo và số 0 ở mọi nơi khác. Nó là ánh xạ "không làm gì": Ix = x với mọi vectơ. Ma trận đường chéo chỉ có các phần tử khác 0 trên đường chéo; nó kéo giãn từng trục một cách độc lập, với phần tử dᵢ co giãn tọa độ thứ i mà không trộn lẫn các trục.

Hãy nghĩ về một bảng trộn âm thanh. Ma trận nhận dạng I là mọi thanh trượt đỗ ở số 1: tín hiệu đi qua mà không bị ảnh hưởng, chính xác là "không làm gì cả". ma trận đường chéo là một tập hợp các thanh trượt âm lượng độc lập —, mỗi thanh trượt sẽ tự tăng hoặc cắt một kênh duy nhất mà không có kênh nào chuyển sang kênh khác.

Vị trí của nó trong MLCác ánh xạ trực giao giữ cho tín hiệu được co giãn cân đối. Khởi tạo trọng số trực giao bắt đầu một lớp như một ánh xạ bảo toàn độ dài, để các kích hoạt và gradient không bùng nổ cũng không tiêu biến khi đi qua nhiều lớp. Ma trận đường chéo xuất hiện dưới dạng các hệ số co giãn theo từng đặc trưng trong chuẩn hóa theo lô (batch norm), còn ma trận đơn vị là xương sống của kết nối tắt (residual…
▶ Các ma trận đặc biệt
← Chuyển vịAx = b: Hình học →