Quy tắc dây chuyền: Dạng ma trận

Phép tính đa biến từ nguyên tắc đầu tiên

Công thức lấy tổng trên các đường đi thực chất là phép nhân ma trận được viết tường minh theo từng số hạng. Khi các hàm nhận giá trị vectơ, quy tắc dây chuyền trở thành một tích gọn gàng của các ma trận Jacobi — và đây chính là dạng tiếp sức cho các hệ thống vi phân tự động thực thụ.

Đối với hợp f ∘ g, ma trận Jacobi của toàn bộ hợp là Jacobi của ánh xạ ngoài (tính tại đầu ra của ánh xạ trong) nhân với Jacobi của ánh xạ trong:

Việc kiểm tra kích thước (shape) là điều làm mọi thứ trở nên rõ ràng. Nếu g: Rⁿ → Rᵏ và f: Rᵏ → Rᵐ, thì J_g có cỡ k×n, J_f có cỡ m×k, và tích của chúng có cỡ m×n — đúng kích thước mà ánh xạ tổng Rⁿ → Rᵐ đòi hỏi. Chiều bên trong k bị triệt tiêu, hệt như trong phép nhân ma trận thông thường.

Vị trí của nó trong MLTích này là lý do vì sao các mạng sâu phải chịu hiện tượng gradient tiêu biến và bùng nổ. Nhân nhiều ma trận Jacobi có giá trị kỳ dị nhỏ hơn 1 thì tích teo dần về 0; để chúng lớn hơn 1 thì tích bùng nổ. Tất cả các kết nối tắt (residual), khởi tạo cẩn thận và chuẩn hóa đều tồn tại để giữ cho tích Jacobi này ở gần mức tỷ lệ lành mạnh, sao cho gradient sống sót suốt hành trình quay ngược qua nhiều…
▶ Quy tắc dây chuyền: Dạng ma trận
← Quy tắc dây chuyền: Dạng vô hướngĐồ thị tính toán →