Khai triển Taylor nhiều biến

Phép tính đa biến từ nguyên tắc đầu tiên

Xấp xỉ tuyến tính (Bài 9) chỉ dùng gradient và cho ra một mặt phẳng tiếp xúc phẳng. Thêm số hạng tiếp theo — số hạng được dựng từ Hessian — và bạn có một xấp xỉ bậc hai: một paraboloid ôm lấy bề mặt, nắm bắt được độ cong của nó chứ không chỉ độ nghiêng.

Hãy đọc ba phần: f(x) là độ cao, ∇fᵀδ là số hiệu chỉnh tuyến tính (độ dốc), và ½δᵀHδ là số hiệu chỉnh bậc hai (độ cong). Số hạng cuối đó là một dạng toàn phương theo bước δ — chính là đối tượng mà dấu của các giá trị riêng của Hessian chi phối.

Một mặt phẳng tiếp tuyến phẳng nằm trên một bề mặt cong cũng giống như đặt một tấm kính cứng lên mắt bạn: nó chạm vào một điểm nhưng lại hở ở những nơi khác. Kính áp tròng hoạt động tốt hơn vì nó được uốn cong để phù hợp với bề mặt của mắt, không chỉ phù hợp với vị trí của mắt mà còn phù hợp với cách mắt uốn cong. Thuật ngữ Hessian ½δᵀHδ là độ cong có sẵn: nó cho phép phép tính gần đúng ôm lấy bề mặt thay vì chỉ nằm trên nó.

Vị trí của nó trong MLThay vì nhích xuống dốc từng bước nhỏ một, bạn có thể khớp một paraboloid vào hàm mất mát và nhảy thẳng xuống đáy của nó. Đó là phương pháp Newton: nó cực tiểu hóa chính xác dạng toàn phương cục bộ, với bước δ = −H⁻¹∇f, và hội tụ nhanh hơn nhiều so với giảm gradient thông thường khi độ cong biến đổi mạnh. Adam và các thuật toán họ hàng theo đuổi cùng kiểu hiệu chỉnh độ cong đó với chi phí rẻ,…
▶ Khai triển Taylor nhiều biến
← Tối ưu hóa có ràng buộcTích phân kép →