Quy tắc tích và quy tắc thương

Tính toán một biến từ nguyên tắc đầu tiên

Khi hai hàm số được nhân với nhau, bạn không thể chỉ nhân các đạo hàm của chúng. Đó là một lối tắt hấp dẫn nhưng sai. Quy tắc đúng phản ánh thực tế là cả hai thừa số đang thay đổi cùng một lúc.

Hãy hình dung một hình chữ nhật có chiều rộng là f và chiều cao là g; diện tích của nó là f·g. Nếu cả hai cạnh tăng lên một chút, thì diện tích tăng thêm trên hai mặt: một dải từ chiều rộng lớn hơn, cộng với một dải từ chiều cao lớn hơn. Đó là lý do vì sao đáp án có hai số hạng chứ không phải một.

Hãy tưởng tượng một khu vườn hình chữ nhật có chiều rộng và chiều cao cả hai được mở rộng cùng một lúc. Khu vực mới không chỉ là một dải, bạn có được một dải dọc theo chiều rộng dài hơn và một dải dọc theo chiều cao cao hơn. Đó là lý do tại sao quy tắc tích có hai số hạng: khi hai đại lượng thay đổi nhân lên, sự tăng trưởng của mỗi đại lượng sẽ đóng góp một phần riêng của nó vào tổng.

Vị trí của nó trong MLCác quy tắc này là những viên gạch được ghép lại trong vi phân tự động. Các điểm số được chuẩn hóa như softmax hay trọng số chú ý đều là một thương (một thứ gì đó chia cho tổng), và việc lấy đạo hàm của nó dùng đến quy tắc thương cơ bản. Hệ số tỷ lệ của batch norm, phép chia của layer norm cho độ lệch chuẩn: bất cứ khi nào mạng chia một đại lượng đã học cho một đại lượng khác, quy tắc thương…
▶ Quy tắc tích và quy tắc thương
← Quy tắc đạo hàm cơ bảnQuy tắc dây chuyền →