Ma trận Jacobi

Phép tính đa biến từ nguyên tắc đầu tiên

Khi đầu ra cũng là một vectơ, tức hàm f: Rⁿ → Rᵐ, một gradient là không đủ. Bạn cần đạo hàm riêng của mỗi đầu ra theo mọi đầu vào. Xếp tất cả chúng vào một ma trận và bạn được ma trận Jacobi (Jacobian) J, đạo hàm bậc nhất đầy đủ của ánh xạ giá trị vectơ.

Hàng i của J chỉ là gradient của đầu ra thứ i. Vậy nên ma trận Jacobi là một chồng các gradient, mỗi gradient cho một tọa độ đầu ra. Hình dạng của nó là m × n: số hàng là số đầu ra, số cột là số đầu vào.

Hãy nghĩ đến bàn trộn của kỹ sư âm thanh, nơi mọi kênh đầu ra đều phản hồi với mọi núm đầu vào. Jacobian là bảng độ nhạy được viết ra: mỗi mục nhập cho biết một đầu ra sẽ di chuyển bao nhiêu khi bạn nhấn một núm đầu vào. Đọc dọc một hàng để biết mọi thứ điều khiển một đầu ra duy nhất; đọc xuống một cột để xem mọi thứ bằng một núm điều khiển.

Vị trí của nó trong MLMa trận Jacobi của một lớp cho biết một nhiễu nhỏ ở đầu vào sẽ làm đầu ra của nó thay đổi ra sao, tức là sự kéo giãn và nén cục bộ của lớp đó. Lan truyền ngược chỉ là phép nhân các ma trận Jacobi theo từng lớp này với nhau (mô-đun tiếp theo). Khi người ta lo lắng về gradient tiêu biến hoặc bùng nổ, họ đang lo lắng về tích các ma trận Jacobi của các lớp co lại thành con số không hoặc nổ tung.
▶ Ma trận Jacobi
← Xấp xỉ tuyến tínhHình học của ma trận Jacobi →