Dạng toàn phương — Đại số tuyến tính · Mathematics for Machine Learning

Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận

Một dạng toàn phương xᵀAx nhận vào một vectơ và trả về một số duy nhất biến thiên bậc hai theo x, tức phiên bản ma trận của ax². Khi x quét qua mọi hướng, con số này vẽ nên một mặt cong, và ma trận A (coi là đối xứng) quyết định hình dạng của mặt đó.

Các giá trị riêng của nó là độ cong dọc theo các trục riêng, và dấu của chúng phân loại hoàn toàn mặt cong. Tất cả đều dương: một cái bát mở lên (xác định dương) có cực tiểu rõ ràng. Tất cả đều âm: một mái vòm (xác định âm) có cực đại. Dấu hỗn hợp: một yên ngựa (không xác định dấu), cong lên theo một số hướng và cong xuống theo hướng khác.

Hãy đổi dấu các giá trị riêng trong hình và xem mặt cong biến hình giữa cái bát, mái vòm và yên ngựa.

Vị trí của nó trong MLDạng toàn phương δᵀHδ là số hạng bậc hai trong khai triển Taylor của hàm mất mát; nó chính là độ cong cục bộ. Hessian xác định dương nghĩa là một cực tiểu cục bộ (một cái bát); Hessian không xác định dấu nghĩa là một yên ngựa, tức các mặt mất mát trồi sụt khó lường. Phân tích độ cong này dẫn dắt các bộ tối ưu bậc hai (phương pháp Newton) và giải thích vì sao việc huấn luyện thoát được khỏi các…