Ma trận Hessian

Phép tính đa biến từ nguyên tắc đầu tiên

Gradient gói gọn tất cả các đạo hàm bậc nhất. Ma trận Hessian gói tất cả các đạo hàm bậc hai của một hàm vô hướng f: Rⁿ → R vào một ma trận. Nếu gradient cho ta độ dốc, thì Hessian cho ta độ cong: bản thân độ dốc thay đổi ra sao khi bạn di chuyển xung quanh.

Theo định lý Clairaut (Bài 6), Hᵢⱼ = Hⱼᵢ, nên ma trận Hessian luôn đối xứng với các hàm trơn nhẵn mà ta quan tâm. Đó là một món quà: ma trận đối xứng có giá trị riêng thực và vectơ riêng trực giao, và các giá trị riêng đó chính là độ cong dọc theo các hướng chính.

Nếu độ dốc là máy đo tốc độ của một bề mặt thì Hessian là bảng điều khiển độ cong của nó: nó báo cáo độ dốc bị uốn cong theo mọi hướng cùng một lúc như thế nào. Một bề mặt uốn cong xung quanh bạn giống như đáy thung lũng; uốn cong xung quanh trông giống như đỉnh của một mái vòm; lên một hướng và xuống một hướng khác là yên ngựa. Hessian gói tất cả những thứ đó vào một lưới đối xứng của các dẫn xuất thứ hai.

Vị trí của nó trong MLKhi gradient descent bò xuống một thung lũng dài và hẹp, nảy chậm chạp qua lại giữa hai vách dốc, ma trận Hessian giải thích lý do. Các giá trị riêng của nó là độ cong theo mỗi hướng, và khoảng cách lớn giữa chúng (số điều kiện cao) chính là thung lũng đó: dốc đứng theo một hướng, gần như phẳng theo hướng kia. Các phương pháp bậc hai như Newton, và theo tinh thần co giãn theo từng tham số của…
▶ Ma trận Hessian
← Hình học của ma trận JacobiHình học của ma trận Hessian →