Hình học của ma trận Hessian — Giải tích II

Các giá trị riêng của ma trận Hessian biến câu hỏi mơ hồ 'đây là loại điểm tới hạn nào?' thành một danh sách kiểm tra rõ ràng. Tại điểm mà gradient bằng 0, dấu của các giá trị riêng của Hessian cho bạn biết bạn đang ở trong một cái bát, trên một mái vòm, hay trên một điểm yên ngựa.

Đây là phép thử đạo hàm bậc hai cho hàm nhiều biến, là dạng tổng quát trực tiếp của trường hợp một biến: ở đó, f″ > 0 nghĩa là cực tiểu và f″ nghĩa là cực đại. Các giá trị riêng của Hessian chính là phiên bản nhiều hướng của con số đó.

Hình ảnh ba món ăn nhẹ. Một bát súp sẽ cong lên bất kể bạn nghiêng nó theo hướng nào, một vòm kem cong xuống khắp nơi và một miếng Pringle uốn cong dọc theo chiều dài nhưng lại uốn cong theo chiều rộng. Giá trị riêng của Hessian chỉ là các đường cong dọc theo các hướng đặc biệt đó: cùng một dấu hiệu có nghĩa là cái bát hoặc mái vòm, các dấu hiệu ngược lại (như 2 và −2) có nghĩa là con chip, một cái yên ngựa.

Vị trí của nó trong MLỞ số chiều cao, điểm yên ngựa nhiều hơn hẳn cực tiểu cục bộ. Đối với một điểm tới hạn ngẫu nhiên trong không gian n chiều, cả n giá trị riêng đều phải cùng dấu thì nó mới thực sự là cực tiểu hay cực đại, điều này xảy ra với xác suất giảm theo cấp số nhân. Vì vậy, huấn luyện mạng sâu chủ yếu là thoát khỏi điểm yên ngựa — những nơi gradient nhỏ nhưng bạn chưa ở gần đáy — chứ không phải bị mắc kẹt…