Quy tắc dây chuyền: Dạng vô hướng

Phép tính đa biến từ nguyên tắc đầu tiên

Bóc tách lan truyền ngược tới phần toán học cốt lõi và bạn sẽ tìm thấy mô-đun này. Quy tắc dây chuyền nhiều biến cho bạn biết cách lấy đạo hàm của hợp các hàm — chính là điều mà một công cụ vi phân tự động (autograd) thực sự làm. Ta bắt đầu với phiên bản vô hướng: một thay đổi ở đầu vào lan truyền như thế nào qua các biến trung gian đến đầu ra.

Giả sử z phụ thuộc vào các biến trung gian y₁, y₂, …, và các biến này lại phụ thuộc vào đầu vào x. Để tìm z thay đổi thế nào theo một đầu vào, ta lấy tổng trên mọi đường đi từ đầu vào đó đến đầu ra, nhân các đạo hàm dọc theo mỗi đường:

Mỗi số hạng (∂z/∂yₖ)(∂yₖ/∂xᵢ) là đóng góp của một đường đi; bạn cộng tất cả các đường lại. Nếu chỉ có một đường, nó trở về đúng quy tắc dây chuyền một biến quen thuộc.

Vị trí của nó trong MLTổng trên các đường đi này chính xác là lan truyền ngược qua một nút của mạng. Mỗi yₖ trung gian là một kích hoạt của nơ-ron; ∂z/∂yₖ là gradient chảy ngược vào nó; ∂yₖ/∂xᵢ là đạo hàm cục bộ của phép toán đó. Nhân rồi cộng, và bạn đã truyền gradient ngược một bước. Lặp lại bước đó trên toàn bộ đồ thị, và bạn đã huấn luyện mô hình.
▶ Quy tắc dây chuyền: Dạng vô hướng
← Hình học của ma trận HessianQuy tắc dây chuyền: Dạng ma trận →